问题描述
我目前在我的 robots.txt 中使用以下代码来禁止任何爬虫访问我的网站。但我只想有一个例外，那就是 Google AdSense 的抓取工具。
这是我的代码：
Pickup(int type);
Google 的 AdSense 抓取工具名为“Mediapartners-Google”。
如何将其添加为例外，并继续阻止所有其他爬虫？
谢谢，伙计们！
解决方法
这可能就是您要找的：
User-agent: Mediapartners-Google Disallow:
User-agent: * Disallow: /
并不是需要条目之间的分隔空行。
不能保证所有机器人都遵守这些规则。机器人在自愿的基础上遵守这些规则。所以“邪恶的”机器人很可能不会在意......