webBee 为乐趣而爬
项目地址:https://github.com/pkwenda/webBee
(项目起步算是 0.1 版本,为了听取大家意见先放出来,目前经过测试,很少配置稳定自动爬取知乎用户数据,正在写 webbee-redis 插件缓存数据进行全面可视化分析)
使用过程中有疑问或需求请到这里:https://github.com/pkwenda/webBee/issues
-
webBee
基于jdk8
是一个持续成长的垂直爬虫框架
项目 -
webBee
遵循MIT
开源协议 -
webBee
是一个不错的 java 进阶项目 -
欢迎大家贡献代码,如果觉得这个项目不错,请为它
点赞
演示站点
- http://gitrue.com (备案成功,开发中)
设计初衷
- 设计简洁,面向接口
- 配置简单,明了
- 一次配置,自动匹配
涉及技术栈
httpcomponents
jsoup
redis
代理
多线程
即将完善的内容
- 分布式爬取
- 代理接口
- 通过配置智能寻找目标
url
- 图片、视频的处理
- 可对
熊猫tv
、斗鱼tv
等弹幕网站弹幕监听分析 - 制作一个炫酷的官网实例
欢迎来到这里!
我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。
注册 关于