DungProxy 代理IP池

程序名称:DungProxy

授权协议: Apache

操作系统: 跨平台

开发语言: Java

DungProxy 介绍

DungProxy是一个代理IP服务,他包括一个代理IP资源server端和一系列适配中心IP资源得客户端。server负责代理IP资源的收集维护。client则是一系列方便用户使用得API,他屏蔽了代理IP下载、代理IP选取、IP绑定、IP切换等比较复杂逻辑。用户只需要引入client即可方便使用代理IP服务。

DungProxy主要用在爬虫,它是为突破目标网站封堵而实现的一个网络层封装。

DungProxy实现了对httpclient较为深度的定制,将一些适合爬虫的特性做成了认,同时支持了多个用户并发登录

DungProxy实现了对webmagic的适配,支持自动集成代理池,支持在webmagic多个账户登录爬取数据。

DungProxy有一个server,他以极小的服务器资源收集了互联网百万级别的代理IP,并使用一种反馈叠加验证的调度模型高效的维护了大概一万的活跃IP,并将这些IP作为dungproxy的认数据源,提供认的代理服务。

DungProxy实现了在免费代理IP资源上面构建的稳定爬虫代理服务。

DungProxy 官网

http://git.oschina.net/virjar/proxyipcenter

相关编程语言

memcached-session-manager 将session存储到memchac...
Tomcat Native 这个项目可以让 Tomcat 使用 Apache ...
EasyTomcat 是一个用来帮助简化 Tomcat 和MySQL 管理...
riak-session-manager 是使用 Riak 来存储Tomcat se...
tomcat-redis-session-manager 是一个用来将 Tomcat...
这是一款在 Oracle 的 JDeveloper 开发环境下管理To...