问题描述
虽然抓取网络 robots.txt 很重要，甚至可以规范行为。但是对于一个node.js 的网站是不是必须要有robot's.txt？ 此外，什么是站点地图，为什么需要它，就像我在下面的示例中发现的那样？
User-Agent: *
User-agent: Googlebot-Image
disallow: /*/ivc/*
disallow: /users/flair/
disallow: /jobs/n/*
disallow: /jobs/a/*
disallow: /jobs/companies/n/*
disallow: /jobs/companies/a/*
Sitemap: https://stackoverflow.com/sitemap.xml
我浏览了几个链接，想要一个简短的解决方案。 此外，如果我没有 robots.txt，我的网站是否更容易出现危险？
解决方法
sitemap 是一个 XML 文件，其中包含您网站上所有网页的列表以及元数据（元数据是与每个 URL 相关的信息）。与 robots.txt 文件的工作方式相同，站点地图允许搜索引擎在一个位置抓取您网站上所有网页的索引。