Smart and Simple Web Crawler 介绍
Smart and Simple Web
Crawler是一个Web爬虫框架。集成Lucene支持。该爬虫可以从单个链接或一个链接数组开始，提供两种遍历模式：最大迭代和最大深度。可以设置
过滤器限制爬回来的链接，默认提供三个过滤器ServerFilter、BeginningPathFilter和
RegularExpressionFilter，这三个过滤器可用AND、OR和NOT联合。在解析过程或页面加载前后都可以加监听器。介绍内容来自Open-
Open
下载地址：
https://crawler.dev.java.net/servlets/ProjectDocumentList?folderID=11459&expandFolder=11459&folderID=10340