如何使用robots.txt实时域隐藏我们的开发和舞台环境？

问题描述

如何在实时环境中的robots.txt文件中禁用开发域环境。 开发人员环境网址-www1.dev.com 直播-www.Live.com

谢谢， 塞卡尔

解决方法

即使您阻止它从Web爬网程序和搜索引擎建立索引，爬网程序也要遵守robots.txt。一些较小的搜索引擎可能会忽略此内容，并且无论如何都将您编入索引。

此外，如果某人拥有或找到直接链接，则他们将有权访问。对于实时开发环境，理想情况下，您希望具有某种形式的身份验证-IP，密钥或会话cookie。