在scrapyd中，如何通过Schedule API传递FEED_URI值

编程问答 2022-08-12

问题描述

我希望scrapyd在云上运行我的蜘蛛，为此我想将FEED_URI的值作为scrapyd命令中的参数传递。

当前，我在自定义设置中使用以下配置将输出存储在s3上。

<div class="form-group">
  <input class="form-control" name="first_name" id="first_name" type="text" placeholder="First Name" required>
  <label class="small mb-1" for="first_name">First Name</label>
</div>

<br>

<div class="form-group">
  <input class="form-control" name="last_name" id="last_name" type="text" placeholder="Last Name">
  <label class="small mb-1" for="last_name">Last Name</label>
</div>

但是我想通过

传递custom_setting的值 
custom_settings = {
        'FEED_FORMAT':'csv','FEED_URI':'s3://my_bucket/%s'%('OP_FILE')
        }

显然，不能在链接蜘蛛类的' init '方法中设置custom_setting值。

该怎么办？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

python-3.xscrapyscrapyd