文件下载器和格式名称的 Scrapy 问题

问题描述

我刚开始接触scrapy

第一步，程序连接数据库，返回Pandas DataFrame（DataFrame有300多行3列）内部的程序名、日期和链接参数。

使用 f 字符串，创建链接，下载器开始下载这些链接

我希望在读取链接时在循环内的同一个表中读取文件名列，并使用所需的名称和日期保存文件

例如： 数据 = 熊猫数据帧包括：

网址：www.xyz.com， 名称： abc,日期：2020/01/01

我想知道如何将文件保存为 abc.2020/01/01

蜘蛛代码：

import scrapy


from Data import connector_15


from ..items import CoscrapyItem


class FirstSpider(scrapy.Spider):
    


name = 'first'
    

start_urls = []

    def parse(self,response):
        links = []
        names = []
        item = CoscrapyItem()
        Data = connector_15()

        for i in Data["PdfUrl"]:
            links.append(f"""https://www.aaa.ir/{i}""")
        

        file_urls = links

        item['file_urls'] = file_urls

        yield item

---

商品代码：

import scrapy


class CodalscrapyItem(scrapy.Item):


    file_urls = scrapy.Field()


    files = scrapy.Field()

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）