问题描述
我想从flask运行scrapy，并认为使用redis作为队列和rqworker来调用一个执行scrapy蜘蛛的函数是个好主意。问题是，scrapy 使用 Twisted Reactor 来运行这些爬虫，现在我收到了一个 fork 错误。所以我的问题是如何将scrapy与redis和rq worker一起使用。
我想使用 rqworker 和 redis 在 heroku 上轻松发布。
如果有人有另一个简单的解决方案来结合刮板和烧瓶以及简单的 heroku 上传可能性，它也会回答这个问题。
我也听说过scrapyrt，但它似乎有很多问题，并且不适用于超过 10 分钟的大爬行。但是如果有人对scrapyrt有经验，请告诉我。
提前致谢
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）