问题描述
我可以使内置 react JS 的 Web 应用程序为 Google 爬虫用于 SEO 目的的最佳方法是什么。我希望整个页面都能够抓取。
基本上问题是因为它是在客户端呈现的，爬虫除了根 div 之外什么都看不到。
应用程序托管在 S3 Bucket 上，并使用 Cloudfront 作为服务器。我已经阅读了有关 Lambda@Edge 的内容，但不确定这是否可行。
帮助！
解决方法
如何解决此问题在很大程度上取决于您的要求和具体情况。如果您的页面不经常更改，您可以自动创建它的静态版本并将其托管在 S3 上。
Lambda@Edge 可以检查用户代理，如果检测到机器人，则将请求重定向到页面的静态版本。其他请求照旧处理。
创建此类静态页面的一个选项是使用 Puppeteer。您可以将 Puppeteer 与 AWS Lambda 结合使用。因此，您可以构建一个 Lambda 函数来获取 URL，然后将 HTML 放入 S3 存储桶中。然后编写一个 Step Function 来为所有页面执行此操作，每天通过 EventBridge 等触发。
另一种选择是在部署项目的新版本等后调用 Step Function。
有很多方法可以解决这个问题。但所有这些选项都可能涉及某种爬虫，它将页面“呈现”为静态 HTML 文件。