无法 read_xml 或 xmlParse，但手动下载时 XML 很好，可以通过 R 加载

问题描述

我正在尝试在 R 中读取此 xml：

url <- 'https://fnet.bmfbovespa.com.br/fnet/publico/downloadDocumento?id=155020&cvm=true&#toolbar=0'
xml <- url %>% httr::GET(httr::config(ssl_verifypeer = FALSE,ssl_verifyhost = FALSE)) %>% read_xml()

输出结果是：

Error in read_xml.raw(content,encoding = encoding,base_url = if (nzchar(base_url)) base_url else x$url,: 
  Start tag expected,'<' not found [4]

当我尝试走 getURL 的路线时：

xdata <- getURL(url,ssl.verifypeer = FALSE) 
doc <- XML::xmlTreeParse(xdata)

输出为：

Error: XML content does not seem to be XML:

并尝试这个：

curl::handle_setopt(h,ssl_verifyhost = 0,ssl_verifypeer=0) curl::curl_download(url=url,destfile = "file_test.html",handle = h)

只需将一个大字符串下载到文件中。与 xmlTreeParse 无法读取为 XML 的相同。

所有这些似乎都指向格式错误的 XML（我相信）。但是，当我手动下载 XML 文件时，read_xml() 可以读取该文件没问题。我也可以像任何其他 XML 一样在我的浏览器上对其进行可视化。

我该如何解决这个问题？这是爬虫程序中的众多网址之一，它们都有相同的问题。

解决方法

网站好像使用了base64加密，我不是很熟悉

url <- 'https://fnet.bmfbovespa.com.br/fnet/publico/downloadDocumento?id=155020&cvm=true&#toolbar=0'

xml <- url %>% 
 httr::GET(httr::config(ssl_verifypeer = FALSE,ssl_verifyhost = FALSE)) %>% 
 httr::content(as="text") %>%
 jsonlite::base64_dec() %>%
 rawToChar() %>%
 read_xml()

您可能需要安装 jsonlite，但这似乎对我有用。