问题描述
完全不要设置allowed_domains。
查看此scrapy文件中的get_host_regex（）函数：
https://github.com/scrapy/scrapy/blob/master/scrapy/contrib/spidermiddleware/offsite.py
解决方法
有没有更好的方法，例如在允许的domains变量中使用正则表达式，例如-
allowed_domains = ["*"]
我希望除了破解Scrapy框架之外，还有其他方法可以做到这一点。