Google漫游器会发出无效请求吗？

问题描述

| 我正在建立一个组件来禁止垃圾邮件机器人的IP，这些IP机器人始终会发出无效请求，并且没有用户会犯错误。 例如，他们总是试图提交空表格，或者对仅应接收POST请求的URL进行GET请求。 我想知道的是，我是否有禁止这样做的危险。 他们是否足够聪明，不会抓取遇到的每个网址？他们避免使用表单网址吗？     

解决方法

Googlebot遵循链接。它将仅请求找到链接的页面。当然，该链接不必位于您的网站上，因此可能不受您的直接控制。 Googlebot只会发出GET请求，因为根据RFC，GET请求必须没有副作用。因此，它们无法更改服务器上的状态。提示：切勿使用链接（即\“ get \”）来执行或确认对您的网站进行的更改，否则任何网络蜘蛛都可能触发它。 为了安全起见，您拥有的每个更改站点状态的CGI都应验证传入的请求确实是POST。     ,Googlebot确实发出了无效请求。我发现在“发件人：”标头中发出的一些请求在标头指定的邮箱名称中不包含“ @”符号。其他机器人有时也会这样做。因此，请在请求中注意无效的可选标头数据。