问题描述
||
我正在创建一个ASP.NET网站,它强迫用户接受免责声明。当他们接受免责声明时,将设置cookie和会话。在每个页面请求上都会触发检查以查看会话或cookie是否存在。
我们希望允许Google和其他Searchbot在不接受免责声明的情况下对所有页面进行索引/爬网。
最好的方法是什么?我唯一能想到的就是将ѭ0选中,但是我不确定应该寻找的女巫值吗?
解决方法
如果Googlebot经过,您需要绕过会话/会话的检查。
因此,在此检查中,您确实确实需要查看ServerVariables。例如。对于Google来说,这就像
HttpContext.Current.Request.ServerVariables[\"HTTP_USER_AGENT\"].Contains(\"Googlebot\"))
当然,任何伪装成Google的人现在也可以跳过免责声明。
我不会称其为伪造-但不能保证Google是否喜欢
, 您必须为此添加元标记,否则使用web.config拒绝访问元标记以这种方式工作
<meta name=\"robots\" content=\"noindex nofollow\">
专门为谷歌它是
<meta name=\"googlebot\" content=\"noindex\">
您也可以尝试网址删除请求服务