Scrapy-Splash 不呈现此站点

问题描述

Javascript 未在 https://iwilltravelagain.com/latin-america-caribbean/?page=1 处呈现 你能告诉我可能是什么问题吗？

我的设置：

SPLASH_URL = 'http://localhost:8050'


DOWNLOADER_MIDDLEWARES = {
    'scrapy_splash.SplashCookiesMiddleware': 723,'scrapy_splash.SplashMiddleware': 725,'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,}

SPIDER_MIDDLEWARES = {
    'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,}

DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'

HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'

ROBOTSTXT_OBEY = False

码头工人：

docker run -p 8050:8050 scrapinghub/splash --disable-private-mode

蜘蛛：

class MyspiderSpider(scrapy.Spider):
    name = 'myspider1'
    start_urls = ['https://iwilltravelagain.com/australia-new-zealand-asia/']

    def start_requests(self):
        for url in self.start_urls:
            yield SplashRequest(url=url,callback=self.parse,args={'wait': 9.0})

    def parse(self,response,**kwargs):
        print(response.body)

这适用于其他网站。

如果您查看 http://localhost:8050 - 该页面也未使用 js 呈现。 我做错了什么？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）