videoSpider 分布式视频信息爬虫

程序名称:videoSpider

授权协议: MIT

操作系统: 跨平台

开发语言: Python

videoSpider 介绍

分布式视频信息爬虫,从豆瓣,bilibili等收集电视剧、电影、动漫、演员等信息,
使用:requests 发送请求,BeatufulSoup解析html,sqlAlchemy 作为ORM,Alembic数据库版本控制。

使用:协程(gevent)+多进程,分布式(Celery)

model:

流程:

videoSpider 官网

https://github.com/billvsme/videoSpider

相关编程语言

提到 EclEmma 首先就要说到著名的 Java 覆盖测试工具...
Solex是一个WEB应用测试用的Eclipse插件。Solex可以...
Apache为我们提供了一个强大的工具 Cactus!它是一套...
Google C Testing Framework是Google公司用来在各种...
JdbcProxy 是 SourceForge 上一个开源的 Java 项目,...
Ripplet是一款负载测试工具,特征如下: 1)基于Apa...