ProxyIpPool , 代理 IP 爬虫池

本贴最后更新于 2588 天前,其中的信息可能已经渤澥桑田

github:https://github.com/javagaorui5944

gitee:https://gitee.com/javagaorui5944/ProxyIpPool

ProxyIpPool 运行部署说明

  • src\main\resources\redis.properties 对 redis 进行配置
  • 运行测试:com.myapp.timer.Timer main 函数
  • Maven 打包部署
    target 目录下的 lib 目录与 ProxyIpPool.jar 包一起入到同一目录下,执行:
$ nohup java -jar ProxyIpPool.jar &

Build Status

3 个定时器线程,第一个负责收集代理 ip,第二个个负责运行维护代理 ip,第三个负责存储到 redis,(redis 并做持久化服务),并于每天提供服务后重新放入池子第二天再进行维护。

qq 技术交流群:200255678

系统原理图

cmd-markdown-logo

  • Java

    Java 是一种可以撰写跨平台应用软件的面向对象的程序设计语言,是由 Sun Microsystems 公司于 1995 年 5 月推出的。Java 技术具有卓越的通用性、高效性、平台移植性和安全性。

    3190 引用 • 8214 回帖 • 1 关注

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...