问题描述
我的 robots.txt 中有这个，需要保留：
禁止：/*?
但是，我还需要 Google 为 URL 末尾带有 ?amp 的页面编制索引。像这样：
www.domain.com/product-name?amp=1
有没有办法允许robots.txt中的那些，同时保留前面提到的disallow？
解决方法
引用 Google 的文档：
在组成员级别，特别是对于允许和禁止指令，基于 [path] 条目长度的最具体的规则胜过不太具体（较短）的规则。如果规则冲突，包括那些带有通配符的规则，则使用限制最少的规则。
这意味着如果允许 ?amp 但不允许其上的文件夹，它应该首先遵循更具体的规则并允许 amp 页面，但不允许层次结构更高的任何内容。