是否有用于检查网站条款和条件的网络抓取工具？

问题描述

是否有任何刮刮技术（例如：Scrapy）在刮刮之前检查站点的条款和条件？

我想过滤我的抓取内容，以免抓取在其“条款和条件”中禁止“自动化/抓取/漫游器”的网站-可能是在条款和条件中搜索关键字，如果发现它们就继续前进

这是对网站robots.txt的补充

解决方法

对于任何对此感兴趣的人，我发现没有工具可以检查网站的条款和条件，您必须手动进行。

请注意，robots.txt和T＆C可能会相互冲突，因此是一个问题