问题描述
|
我想添加robot.txt，以便可以找到我的网页...
因此，我听说在网站的根目录中放置带有元标记的“ 0”即可。
这是真的吗？
添加或生成此robot.txt的步骤是什么？
我发现了这个
解决方法
Robots.txt还可用于告诉爬虫一旦到达您的网站就该去哪里。
使抓取工具进入您的网站的一种更好的方法是为您的网站构建一个站点地图，然后使用Google网站管理员将该站点地图提交给google。您还希望将站点地图包含在站点的根URL中，并告诉google它在哪里（所有这些都可以在上面链接的Google网站站长工具中完成）。
, 不，它不会使您的网页突然可见。它只是指导网络爬虫如何索引您的网站。
http://www.robotstxt.org/