用R可靠地爬取动态页面的方法

编程问答 2022-05-04

问题描述

我正在练习爬行作为一种爱好。 虽然数据是从现场获取并正常运行， 有时找不到html_nodes，返回一个空值。

这是我的代码

url <- "url"
remDr <- RSelenium::remoteDriver(myinformation,browserName = "chrome")
remDr$open()

class <- NULL

pagUrl <- paste0(url,"man/")

for (i in 1:length(pagUrl)){
  remDr$navigate(pagUrl[i])
  class <- (remDr$getPageSource()[[1]] %>% read_html() %>% html_nodes('#categories') %>% html_nodes('._3kOKu') %>% html_text())[4]
}

  1. 代码的“remDr$getPageSource()[1] %>% read_html()”部分总是有一个值。

  2. 之后，从"%>% html_nodes('#categories')中找不到节点。

  3. 并非总是如此，但偶尔会发生。

你需要什么才能可靠地爬行？ R Studio 正在使用中，RSelenium 和 Rvest 正在使用中。

我的猜测：网页是动态页面，所以我在想是 JavaScript 配置 Dom 的速度慢。

爬行练习网站：https://www.modes.com/us/shopping/

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

rrrseleniumrvestweb-crawler