问题描述
我知道，如果必须限制任何特定内容，我可以在robots.txt中添加URL。
但是，如何限制Drupal 8中一种特定内容类型的所有节点不被Google之类的搜索引擎抓取？
解决方法
如果您能够安装metatag module，则需要将字段元标记添加到您要从Google排除的内容类型中。要从Google中排除，请确保您在编辑以下页面时选中了metatag下拉菜单：
Prevents search engines from indexing this page.
如果太多，则需要编写hook_update才能将更改应用于所有现有页面。
,我知道阻止搜索引擎的唯一方法是通过robots.txt。
使用Drupal时，为了阻止整个内容类型，您必须确保没有临时别名。选中/admin/config/search/path。内容实例的任何异常别名都会使搜索引擎绕过您设置的一般规则。
然后，向robots.txt添加一条规则以禁止该内容的模式。
示例：
Disallow: /node/
如果您要阻止某些特定的内容子集，请考虑使用Pathauto创建路径模式，该路径模式将使您可以轻松地使用robots.txt规则定位这些子集。