videoSpider 分布式视频信息爬虫

程序名称:videoSpider

授权协议: MIT

操作系统: 跨平台

开发语言: Python

videoSpider 介绍

分布式视频信息爬虫,从豆瓣,bilibili等收集电视剧、电影、动漫、演员等信息,
使用:requests 发送请求,BeatufulSoup解析html,sqlAlchemy 作为ORM,Alembic数据库版本控制。

使用:协程(gevent)+多进程,分布式(Celery)

model:

流程:

videoSpider 官网

https://github.com/billvsme/videoSpider

相关编程语言

BlazeDS 是一个基于服务器的Java 远程控制(remoting...
OVal 是一个可扩展的Java对象数据验证框架,验证的规...
Volta 是一套开发工具,专为开发分布式、实时系统应...
OpenDDS 是一个开源的 C++ 实现的 对象管理组织 OMG...
JADE (Java Agent DEvelopment Framework) 是一个完...
FastMM ,在D2006和2007中已代替了原来的内存管理器。