程序名称:videoSpider
授权协议: MIT
操作系统: 跨平台
开发语言: Python
分布式视频信息爬虫,从豆瓣,bilibili等收集电视剧、电影、动漫、演员等信息, 使用:requests 发送请求,BeatufulSoup解析html,sqlAlchemy 作为ORM,Alembic数据库版本控制。
使用:协程(gevent)+多进程,分布式(Celery)
model:
流程:
https://github.com/billvsme/videoSpider