问题描述
我正在尝试通过我大学的 VPN 使用 Scrapy-Splash 运行一个抓取工具，因为它需要访问我想要抓取的页面。但是，当我尝试在连接 VPN 的情况下抓取页面时，Scrapy-Splash 不起作用。我在没有 VPN 的情况下尝试过，脚本运行良好。这个问题怎么卖？这是我的错误：
2021-06-27 16:56:27 [scrapy.extensions.logstats] INFO: Crawled 1 pages (at 0 pages/min),scraped 0 items (at 0 items/min)
2021-06-27 16:56:38 [scrapy.downloadermiddlewares.retry] DEBUG: retrying <GET https://www.mergentarchives.com/searchResults.PHP?searchType=annualReports&companyName=3Com+Corp.&compNumber=37958&aracompNumber=0/searchResults.PHP?searchType=annualReports&companyName=3Com+Corp.&compNumber=37958&aracompNumber=0 via http://0.0.0.0:8050/render.html> (Failed 1 times): [<twisted.python.failure.Failure twisted.internet.error.ConnectionLost: Connection to the other side was lost in a non-clean fashion.>]
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）