网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,robots默认都是放在网站根目录。
刚建好的WordPress网站,打开robots.txt是能访问的,但是在网站目录却找不到任何robots.txt文件,其实默认的robots文件放在wp-includes/functions.php中,通过搜索robots大概在1319行可进行修改。
修改Robots.txt是针对网站SEO进行优化的关键,上面主要讲述的是在哪里设置wordpress默认自带的robots.txt文件的教程方法,希望对你的 Wordpress 网站有所帮助;