一款在线爬虫系统,以图形化方式定义爬虫流程,不写代码即可完成爬虫!
推荐关注
责编:猿哥 | 来源:GitHub猿 整理
上次是谁要的在线爬虫系统项目啊,猿哥帮你找到了。
📚 项目介绍
最近猿哥在逛网站的时候发现一个不错的开源项目,这个项目目前收获了 6K Star,猿哥觉得不错,值得拿出来和大家分享下。
本项目系统是新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。平台以流程图的方式定义爬虫,是一个高度灵活可配置的爬虫平台。扩展:接私活!
技术功能
- 支持Xpath/JsonPath/css选择器/正则提取/混搭提取
- 支持JSON/XML/二进制格式
- 支持多数据源、SQL select/selectInt/selectOne/insert/update/delete
- 支持爬取JS动态渲染(或ajax)的页面
- 支持代理
- 支持自动保存至数据库/文件
- 常用字符串、日期、文件、加解密等函数
- 支持插件扩展(自定义执行器,自定义方法)
- 搜索公众号Linux中文社区回复“外卖”,送你一份惊喜礼包。
- 任务监控,任务日志
- 支持HTTP接口
- 支持Cookie自动管理
- 支持自定义函数
功能演示
爬虫列表
爬虫测试
Debug
日志
项目源码,怎么领取?
源码获取
扫码下方二维码,后台回复【爬虫】即可获取所有系统
在 GitHub猿 还有更多优质项目系统学习资源,欢迎分享给其他同学吧!
猿哥个人微信
添加猿哥个人微信即送一份惊喜大礼包
→ 技术资料共享
→ 技术交流社群
一款中小企业的进销存管理系统,无需编写任何代码,支持高效开发复杂功能!
这是我见过最好的 SaaS 快速开发平台! 新零售电商系统,前后端全部100%开源,无任何加密方便扩展! 一款数据库文档生成工具,支持SqlServer/MySQL/Oracle/PostgreSQL/DB2/SQLite数据库! 看看人家那物联网平台,那叫一个优雅!
最近,GitHub猿建了一个「GitHub猿交流群」,欢迎大家一起交流优秀开源项目,也可以宣传自己的开源项目,在 「GitHub猿」公众号后台回复【加群】邀请你入群。
关键词
系统
代码
牛逼啊
开源项目
文件
最新评论
推荐文章
作者最新文章
你可能感兴趣的文章
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios) posted above belong to the User who shared or the third-party website which the User shared from. If you found your copyright have been infringed, please send a DMCA takedown notice to [email protected]. For more detail of the source, please click on the button "Read Original Post" below. For other communications, please send to [email protected].
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。