goodcrawler 网络爬虫

程序名称：goodcrawler

授权协议: Apache

操作系统: 跨平台

开发语言: Java

goodcrawler 介绍

goodcrawler(GC) 网络爬虫

GC是一个垂直领域的爬虫，同时也是一个拆箱即用的搜索引擎。

GC基于httpclient、htmlunit、jsoup、elasticsearch。

GC的特点：

1、具有DSL特性的模板。

2、分布式、可扩展。

3、辛亏有htmlunit，它能较好地支持javascript。

5、合理的插件设计，方便功能扩充。

6、天然继承es，本身即是一个完整的搜索引擎。

下载独立运行版

goodcrawler 官网

https://github.com/shenbaise/goodcrawler