问题描述
我运行的每周刮擦之一已超时。他们的错误页面没有搜索结果,而是显示一条消息,翻译为“网络服务器不可用”
程序将重新加载页面并重试。有时它会自己过去,但这可能需要一段时间并且不能保证。 browser.reload() 将超时并在捕获异常时重试。但是如果我在卡住的任何时候打开开发工具,页面将立即开始正常运行,重新加载将停止挂起,页面将加载,搜索结果将在那里。接下来的几次(从 3 到 20 多个)搜索会很好,然后它会再次发生,开发工具让事情回到正轨。
谁能提供有关为什么会发生这种情况的任何见解?
他们不使用验证码或其他任何东西,但这可能是在限制流量的保护伞下吗?
我曾尝试使用 splinter/selenium 开放开发工具,但未能实现。
我正在运行搜索位置列表和每个位置的日期列表。我的下一个想法是构建一个函数来终止浏览器实例,创建一个新实例,并处理最初访问该站点时所需的一些事情,以便它可以在循环中从停止的地方继续。在此之前,我还有什么需要研究的吗?在这个特定场景中,Google 没有给我任何信息。
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)