WebFetch 极简网络爬虫组件

程序名称:WebFetch

授权协议: Apache

操作系统: 跨平台

开发语言: Java

WebFetch 介绍

WebFetch 是无依赖极简网页爬取组件,能在移动设备上运行的微型爬虫。

WebFetch 要达到的目标:

  • 没有第三方依赖jar包

  • 减少内存使用

  • 提高CPU利用率

  • 加快网络爬取速度

  • 简洁明了的api接口

  • 能在Android设备上稳定运行

  • 小巧灵活可以方便集成的网页抓取组件

使用文档

WebFetch的使用非常简单,让小白用户快速上手,WebFetch为用户配置默认页面处理方法,默认将抓取到的页面信息使用System.out.print输出到控制台(通过配置PageHandler修改默认操作)。

启动代码:

WebFetch webFetch = new WebFetch(); 
webFetch.addBeginTask("https://github.com").start();

停止代码:

webFetch.close();

WebFetch再执行start()方法后不会阻塞程序执行,可以加入多个网页地址,目前支持http与https,至少需要一个起始地址。

第一个版本还需要不断改进与完善,希望大家提出宝贵的改进意见,感谢大家的支持。

联系方式:wanghailiang333@qq.com

WebFetch 官网

https://git.oschina.net/hexleowang/WebFetch

相关编程语言

MuPlayer 是一款跨平台、轻量级的音频播放解决方案,...
OS FLV 是一个 开源和可嵌入网页的flv播放器。 这个...
DewPlayer音乐播放器,样式很简单,而且很实用.播放器...
JW FLV MEDIA PLAYER是一个开源的在网页上使用的Fla...
Speakker 是一个基于 Web 浏览器的音乐播放器,只提...
Player Framework 是一个开源的支持 HTML5 的视频播...