问题描述
在创建我的第一个爬虫时，我想检查一个网站是否是使用某个框架呈现的。我知道我可以使用 SplashRequest 来使用无头浏览器呈现它，但这效率不高。我如何才能确定哪些网站需要通过 Splash 访问，哪些网站不需要，而无需实际发出无用的 SplashRequests？
谢谢！
解决方法
您可以使用此扩展程序 https://chrome.google.com/webstore/detail/quick-javascript-switcher/geddoclleiomckbhadiaipdggiiccfje?hl=en 简单地禁用 JS，在您要抓取的网站上查看您要抓取的数据是否在页面上可用，如果没有，您将需要检查 AJAX调用网站，或使用任何无头浏览器，如 Selenium 或 Splash
我建议不要使用 SplashRequest，它的编程很差，对开发人员不太透明，我建议使用 Scrapy Selenium