百度对robots.txt的反应时间约为14天

  百度对robots.txt的反应大概是多久呢?小编做了一个试验,情况大约是这样子的,我之前在博客,因为一些模板上的失误,在一些“.html”后面加入了一个问号,变成了“.html?”,后来我观察了搜索引擎,发现它们都将“.html”和“.html?”这两个URL当成了两个不同的URL(只有google例外,我估计它会自动处理掉一次空的查询)。所以我决定用“robots.txt”将这种情况改过来,顺便说下这次更改对博客的影响,我当时博客的情况是:

  发表文章3小时内获取收录还有排名(搜索相关的关键词可以找得到,长尾关键词可以在第一页找到)

  内页有近一半的URL是“.html?”的形式

  我在6月29号开始修改robots.txt,禁止收录.html?这种格式的URL,同时将模板上的BUG修复。接着继续发表文章,不过文章没有在3小时内被收录了,等到周四更新的时候才放出来,这时,依旧获得不错的排名,并没有因此被降权或是干吗。

  到了7月2-3号,收录开始下降了,到周四的更新,收录只有39了。基本上大量“.html?”全被K掉了,只留了少量的,不知道是不是ZZ没有重新爬那几个URL的原因,这一点不好说,有空分析下日志再看看。

  修改robots.txt在百度的影响

  综上所述,修改robots.txt禁止一些收录的URL对百度的影响还是有一些的:至少影响了网站的信任度(收录没那么快了)。而且还有一个未知的原因,那些被禁止的“.html?”的正规URL“.html”的收录不知道会在几时,会不会被认为是重复页面给K掉了,这些都不好说,只有等待观察了

相关文章

网站流量短时间内的少量波动一般来说是正常现象。当流量波动...
持续输出原创优质内容,获得更多的用户点击与认可,会提高网...
百度信息流配置为用户的自然流量,即会根据用户属性和配置的...
百度搜索的索引量与流量有什么关系?百度搜索的索引量与流量...
随着手机移动端的快速崛起,慢慢的占领了大部分用户的访问入...
首先说下SSR,最近很热的词,意为ServerSideRendering(服务...