如何阻止google-bot将我的s3存储桶中的文件夹编入索引？

问题描述

我有一个带有静态网站托管设置+ Cloudfront的Amazon S3存储桶。 我在s3存储桶[example.com/Books]内有一个文件夹，其中包含pdf文件。 我已经在Google搜索控制台中提交了一个站点地图[其中不包含任何pdf网址]，但是google正在为搜索结果中的pdf文件编制索引。

在搜索控制台中，我添加了一个请求，要求从搜索结果中删除所有带有前缀[example.com/Books/*]的网址，并立即将其删除。我搜索了如何停止对文件和文件夹建立索引，并发现必须添加“ X-Robots-Tag：noindex” 作为http标头元数据。如何将其添加到s3存储桶？我已将自定义元数据添加到“书”文件夹中， x-amz-meta-X-Robots-Tag：noindex 。

我已经读过很多文章，其中写道，我不应该阻止Robot使用Robots.txt访问该文件夹，因为它不会告诉搜索引擎“ noindex” http我已添加到该文件夹​​的标题。现在该怎么办？

解决方法

您可以使用robots.txt，它适用于所有搜索引擎漫游器。

robots.txt 使用的文件名与我给的完全相同。

User-agent: *
Disallow: /foldername/