无法使用 Goutte Laravel 包抓取此站点元素存在于视图源中

问题描述

我正在使用 Laravel Goutte 软件包构建一个抓取工具 https://github.com/FriendsOfPHP/Goutte 我已经能够抓取大多数网站，直到我遇到这个我需要抓取的网站 http://www.bhutanpost.bt/。

我怀疑的问题是该站点的字符集为 UTF-7，并且返回的 xml 与“查看源代码”中显示的不同。我试图抓取的元素确实存在于视图源中，所以我可以说它们不是由 JS 动态拉取的。

任何帮助都将受到高度赞赏。

解决方法

我仔细研究了一下，发现了一个肮脏的修复， 问题出在 parseXhtml 函数内部的 DomCrawler 的 loadHtml 函数上。当元标记未明确定义时 loadHtml 会导致问题，所以这是我的修复：

$dom->loadHTML('<meta http-equiv="Content-Type" content="text/html; charset='.$charset.'">'.$htmlContent);

我在 HTML 内容之前添加了元详细信息。