程序名称:ProxyIpPool
授权协议: Apache
操作系统: 跨平台
开发语言: Java
ProxyIpPool 是一个爬虫代理 ip 池,主要用途爬取代理 ip ,然后将这些代理 ip 放入池子里(池子是某个数据结构的概念,比如我用的是队列)进行维护。
为什么需要维护呢?因为大多数代理 ip 都不太问题稳定,需要我们用程序自行去评测它的一个稳定性和可靠性,从而筛选出可用的代理 ip 持久化到我们的磁盘里。
系统原理图:
https://gitee.com/javagaorui5944/ProxyIpPool