未在 Scrapinghub/Zyte Scrapy Cloud 上设置 JOBDIR

编程问答 2022-05-16

问题描述

我正在尝试为蜘蛛设置 JOBDIR，以避免由于内存限制 [scrapy.extensions.memusage] Memory usage exceeded 950M. Shutting down Scrapy... 导致爬行关闭。由于单个scrapy 云单元有5gb 的磁盘空间，我认为使用磁盘空间来存储排队的请求以规避1gb ram 的限制是有益的。但是，无论我如何尝试在我的项目中（或从 scrapy 云仪表板）设置 JOBDIR 设置，该设置始终被忽略。到目前为止，我已经尝试了以下方法：

  1. 在我的settings.py 
# only set JOBDIR when not running from my dev environment
if platform.system() != 'Windows':
    JOBDIR = 'requests'
  1. 在运行作业时在 Arguments 字段中设置它：
    参数：JOBDIR=test

关于如何强制scrapy cloud 设置JOBDIR 以便我可以利用磁盘存储而不是将请求存储在内存中的任何想法？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

pythonpython-3.xscrapinghubscrapy