抓取n个域

问题描述

我正在尝试检索许多具有不同允许域的网站。两个网站的方法是使用以下规则的代码：

class ArticleSpider(CrawlSpider):
    name = 'ArticleSpider'
    allowed_domains = [
        'necjournals.ir','jlap.srbiau.ac.ir',]
    start_urls = [
        'http://necjournals.ir','http://jlap.srbiau.ac.ir',]

    rules = (Rule(LinkExtractor(allow=()),callback='parse_link',follow=True),)

    def parse_link(self,response):
        yield {
            'url' : response.url,}

但是我想要抓取的网站数量大约是1700个，请问有什么方法可以将start_urls和allowed_domain作为变量传递给蜘蛛？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）