问题描述
我正在开发降价通知应用程序,我正在考虑为此使用 Scrapy,但是,我不确定如何使用它,我是否需要在特定时间间隔后定期检查产品价格,或者是否存在任何其他方式来做到这一点。
解决方法
Scrapy 是一种抓取数据的好方法,但是您仍然需要弄清楚如何存储旧值,并反复运行抓取器对其进行检查,并发送通知。
对于没有太多页面导航的简单网站,仅使用 requests
和 BeautifulSoup
通常更容易,我只会将 Scrapy 添加到该组合中以处理多页面导航的抓取。
Zyte(由 Scrapy 的创建者,前身为 ScrapingHub)有一个 PaaS 产品,用于执行每小时自动抓取,并且您可以在其中调用外部服务以获取通知。