使用Scrapy使用CONCURRENCY_REQUEST同时发送多个请求

问题描述

请 如何精确配置CONCURRENCY_REQUEST,CONCURRENCY_REQUEST_PER_DOMAIN以同时发送多个请求? 我的DOWNLOAD_DELAY = 5且CONCURRENCY_REQUEST_PER_IP = 1

当我设置CONCURRENCY_REQUEST = 4时,时间没有区别,我也不明白

解决方法

您输入了错误的设置名称
刮{中没有CONCURRENCY_REQUESTCONCURRENCY_REQUEST_PER_DOMAINCONCURRENCY_REQUEST_PER_IP 设置。

您需要使用CONCURRENT_REQUESTSCONCURRENT_REQUESTS_PER_DOMAIN
CONCURRENT_ not CONCURRENCY_

相关问答

Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其...
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。...
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbc...