问题描述
Google 搜索和 Bing 搜索引擎会抓取我们的域。我们只想用参数向公众隐藏几个页面。有没有什么办法。
示例
mydomain.com/products/phone.xhtml?xtoken=value
mydomain.com/products/electronics.xhtml?xtoken=value
我们不想同时隐藏 mydomain.com/products/phone.xhtml 我们不想显示 mydomain.com/products/phone.xhtml?xtoken=value 是受限制的内容。
解决方法
这是一种非常糟糕的方法，因为您只需在 robots.txt 中输入这些地址即可提醒公众注意这些地址。您假设所有爬虫都尊重 robots.txt。除此之外，您的解决方案有什么问题？