问题描述
我们开发了一个网站,它使用 JavaScript 库来查询数据库并将数据显示在 HTML 页面中。当您访问该网站时,您需要搜索某些内容以检索数据。
所以默认情况下网站不显示任何数据,它需要用户执行操作。
搜索结果数据在 HTML 视图源中不可见,因为它使用 JavaScript。
因此,搜索引擎无法了解我们网站的用途以及用于重定向更多访问者的数据。
其次,我想知道搜索机器人/引擎如何抓取具有非静态内容的网站并充分了解网站以重定向用户。
解决方法
从我从你的问题中看到的,你需要做的是向你的服务器发送请求以从你的数据库中查询数据并将其实时显示给你的客户端。为此,我建议你使用网络套接字(例如作为 socket.io) 或 AJAX,以便您可以无缝更新您的网站
,根据我的研究,爬虫实际上不读取动态内容。相反,他们使用这种称为动态渲染的技术。
动态渲染与服务器本身有关。它检查每个请求,如果它确定它是一个机器人,那么它将向机器人发送静态 HTML 内容。否则,它将向用户发送正常的动态内容。
此外,谷歌和其他搜索引擎也使用 meta tags。使用元标记,您可以定义网页的简短描述,该描述通常会显示在搜索结果页面中。
对于标题中的问题,您需要将搜索信息发送到服务器。从那里,您将处理服务器端的数据并将结果发送回客户端,JavaScript 将根据结果呈现它。
您应该为此使用 AJAX。
资源: