哪个循环更有效:通过单个Splash脚本运行整个循环,还是通过Scrapy解析循环重复Splash脚本?

问题描述

我有一个Lua脚本,它将通过一个Java脚本沉重的网页。代码类似于:

  1. 通过表单输入信息
  2. 设置页面的一些设置
  3. 在行中循环
  4. 重复浏览页面

或者,我可以为每个页面使用一个Splash脚本,并为每个页面从头到尾重复该脚本。其中包括步骤1和2。

使用包含单个Splash脚本的重复scrapy解析方法在页面之间循环。对于每个页面,使用启动脚本运行parse方法:

  1. 通过表单输入信息
  2. 设置页面的一些设置
  3. 在行中循环

我觉得标准分页无法正常工作,因为URL不会在页面之间变化。因此,如果要使用循环浏览特定的页码,则必须导航到该页码 不仅刮擦而且飞溅,而不仅仅是飞溅。

有什么想法更有效?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)

相关问答

依赖报错 idea导入项目后依赖报错,解决方案:https://blog....
错误1:代码生成器依赖和mybatis依赖冲突 启动项目时报错如下...
错误1:gradle项目控制台输出为乱码 # 解决方案:https://bl...
错误还原:在查询的过程中,传入的workType为0时,该条件不起...
报错如下,gcc版本太低 ^ server.c:5346:31: 错误:‘struct...