ruby-on-rails – 为什么Google Bot抓取不存在的CSS文件？

Google Bot Crawler一直在尝试抓取生产中我网站上不存在的CSS文件.

它要求：

http://www.mywebsite.com/assets/index-d45678283d4ab9905c3538184826e599.css

生产中不存在这个确切的文件名(生产中的文件名略有不同).

但是,它请求的CSS文件确实存在于开发中：

http://localhost:3000/assets/index-d45678283d4ab9905c3538184826e599.css

我不确定为什么要求这个文件.

在部署到生产之前,我使用Capistrano(加载“deploy / assets”)来预编译我的资产.

现在,我只是在robots.txt中阻止此文件,但它在每次部署后请求的css文件都会更改.

为什么GoogleBot要抓取生产网站中不存在的此文件？我怎么阻止它？

解决方法

GoogleBot可能会看到两件事之一：

>它会在您的网站上看到该文件被错误引用的位置 – I.E.旧代码构建.我会在你的实际网站(捆绑)中搜索该文件.
>它会记住以前版本中的文件,并且正在尝试检查它是否有更新.

让我感到困惑的是,在您的服务器发出404响应之后,它不会忽略它,但Google软件的内部工作方式是一个黑盒子;没有真正的方法可以告诉它为什么会这样做.

也就是说,他们提供Webmaster Tools Panel,允许您对索引进行一些自定义等.