Node-cnblogs-spider 基于 Node 实现的爬虫

程序名称：Node-cnblogs-spider

授权协议: GPL

操作系统: 跨平台

开发语言: JavaScript

Node-cnblogs-spider 介绍

spider_cnblogs

spider_cnblogs 是专门爬取博客园的文章并自动将文章转成 .md 存储至本地的爬虫。

安装

npm install node-cnblogs-spider --save

使用

var ncs = require('node-cnblogs-spider')
ncs([
    http://xxxx, 
    http://xxxx 
])

示例

依赖

to-markdown
将html转md

cheerio
类似于Sizzle的nodejs的实现

bluebird
是对es6种Promise方法的封装与ose展库

文档

• [译] NodeJS 错误处理最佳实践@H_404_42@
• Nodejs异步异常处理domain@H_404_42@
• 使用Promise尽量脱离回调地狱，使得代码可读性更高@H_404_42@
• html转md格式的包还是有缺陷的,不然完美展现出.md @H_404_42@
• 生成本地文件使用的是stream实现，效率更高。但是要注意文件的命名规范。@H_404_42@

License

MIT

Node-cnblogs-spider 官网

https://github.com/zhaoqize/node-cnblogs-spider