为什么我的Jsoup代码没有返回正确的元素？

编程问答 2022-06-12

问题描述

我正在Android Studio中开发一个应用程序，并且在使用JSoup进行网络抓取时遇到了一些麻烦。我已经成功连接到网页并返回了一些基本元素来测试该库，但是现在我实际上无法获得我的应用程序所需的元素。

我正在尝试使用“ data-at”属性获取多个元素。奇怪的是，返回了一些带有“ data-at”属性的元素，但没有返回我要查找的元素。无论出于何种原因，我的代码都不会提取与网页上共享“ data-at”属性的元素的 全部 。

这是我要抓取的网页的URL： https://express.liatoyotaofcolonie.com/inventory?f=dealer.name%3ALia%20Toyota%20of%20Colonie&f=submodel%3ACamry&f=trim%3ALE&f=year%3A2020

包含网页抓取代码的方法：

@Override
    protected String doInBackground(Void... params) {
        String title = "";
        Document doc;
        Log.d(TAG,queryString.toString());
        try {
            doc = Jsoup.connect(queryString.toString()).get();
            Elements content = doc.select("[data-at]");
            for (Element e: content) {
                Log.d(TAG,e.text());
            }
        } catch (IOException e) {
            Log.e(TAG,e.toString());
        }
        return title;
    }

Logcat中的结果

enter image description here

我要检索的元素

enter image description here

实际被检索的元素之一

enter image description here

解决方法

这是因为某些内容-包括您要查找的内容-是异步创建的，并且不存在于初始DOM（Javascript;））中

当您查看页面源代码时，您会发现只有17个data-at出现，而运行document.querySelector("[data-at]")时返回了29个节点。

您可以在JSoup中获得的是页面的静态内容（初始DOM）。您将无法获取动态创建的内容，因为您没有运行必需的JS脚本。

为了克服这个问题，您将必须手动获取和解析所需的资源（例如，跟踪浏览器进行的AJAX调用）或使用无头浏览器设置。硒+无头铬应该足够了。

Letter选项将使您可以废弃任何可能的Web应用程序，包括SPA应用程序，而使用纯Jsoup无法实现。

,

我不太知道该怎么做，但是我将再尝试一次...您代码中的“问题行”如下：

    doc = Jsoup.connect(queryString.toString()).get();
    Elements content = doc.select("[data-at]");

这是您所请求的 queryString - URL 指向包含大量脚本代码的页面。加载浏览器并单击显示为 "View Source" 的按钮（或菜单选项）时，您看到的 HTML 不是与JSoup广播和接收的完全相同的 HTML 。

如果广播的 HTML 中包含任何 <SCRIPT TYPE="text/javascript"> ... </SCRIPT> （以及名为 URL 在您的问题中确实）， AND 这些<SCRIPT>标签与页面的初始加载有关，那么JSoup将一无所知... 它仅解析它收到的内容将无法处理任何动态内容。

我知道从动态网页上获取 HTML 的“脚本加载后”版本的四种方法，现在我将在此处进行输入。第一种可能是我在Stack Overflow上听说过的最流行的方法（在Java中）：

  • 硒 This Answer将显示该工具如何运行Java脚本。这些是Selenium Docs。然后，这里有this page个很棒的“第一类”，可以使用该工具检索 post-script processed HTML 。同样，JSoup无法检索通过脚本（JS / AJAX / Angular / React）发送到浏览器的HTML，因为它 只是一个解析器 。
  • Puppeteer （这需要运行名为 Node.js 的语言）也许可以从Java调用简单的 Node.js 程序，但是可以是“两种语言”的解决方案。我没用过这是an answer，显示了您正在尝试获得的……脚本后的HTML。
  • WebView Android Java程序员有一个很受欢迎的类，叫做 "WebView" （documented here），最近我被告知（昨天.. （但已经使用了很多年），它将在浏览器中执行脚本并返回HTML。这是an answer，显示“ JavaScript注入”以从“ WebView”实例检索DOM Tree元素（这是完成的方式）
  • 飞溅我最喜欢的工具，我认为没有人听说过，但对我来说却是最简单的工具。因此，有一个A.P.I.称为“ Splash API”。这里是their explanation的“ Java脚本渲染服务”。既然我一直在使用...，我将发布一个代码段，以显示“启动工具”如何在下面检索 post-script processed HTML 。

要运行 Splash API （仅当您有权访问 docker 加载程序时）...启动 Splash Server ，如下所示。这两行输入到GCP (Google Cloud Platform) Shell实例中，服务器无需任何配置即可启动：

拉出图像：
$ sudo docker pull scrapinghub/splash

启动容器：
$ sudo docker run -it -p 8050:8050 --rm scrapinghub/splash

在您的代码中，只需将字符串放在您的 URL's 之前：
"http://localhost:8050/render.html?url="

因此，在代码中，您将使用以下命令（而不是），并且脚本将（更有可能）加载所有未找到的HTML元素：

String SPLASH_URL = "http://localhost:8050/render.html?url=";
doc = Jsoup.connect(SPLASH_URL + queryString.toString()).get();
androidandroidandroid-studiojavajavajsoupweb-scraping