web-crawler – 我应该在robots.txt中对不区分大小写的目录使用不同的大小写拼写吗？

不幸的是,我有一些不区分大小写的服务器,短期内无法更换.某些目录需要从抓取中排除,因此我必须在robots.txt中禁止它们.我们以/ Img /为例.如果我把它全部保持小写……

User-agent: *
disallow: /img/

…它没有映射到实际的物理路径,并且/ Img /或/ IMG /的地址未应用于disallow指令. Crawlers会将这些变体视为不同的路径.

在这件事上看Microsoft’s robots.txt很有趣.他们可能使用IIS服务器,而SERP只是充满了不允许的地址 – 仅限于其他情况.

我该怎么办？是否有效(并且有效)陈述以下内容？

User-agent: *
disallow: /Img/
disallow: /img/
disallow: /IMG/

解决方法

原始的robots.txt规范没有说明文件路径中的typecase,但根据 Google’s robots.txt specification,文件路径肯定是区分大小写的.谷歌明确指出“disallow：/ img /”只会阻止“/ img /”,而不是“/ Img /”或“/ IMG /”.您的解决方案绝对有效,并将解决问题.

话虽这么说,如果我有理由相信备用案例URL实际被抓取,我只会求助于此解决方案,并且它们导致了问题.您可以轻松地将robots.txt文件转换为无法维护的混乱.