问题描述
我想在爬行后将状态报告发送到数据库。我已经有一个系统可以监听蜘蛛关闭事件并将关闭蜘蛛的原因发送到数据库。
我的问题是我得到一个 twisted.web._newclient.ResponseNeverReceived，它以 CloseSpider('finished') 结束蜘蛛。这个理由不足以让我推论失败的真正原因。
当 ResponseNeverReceived 发生时，您将如何以不同的原因关闭蜘蛛？似乎没有任何信号。
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）