如何使用 R 刮板绕过重新验证

编程问答 2022-05-30

问题描述

我正在尝试获取有关特定电话号码的信息。所以我正在抓取一个在线反向目录。 URL 实际上包含您在“tel=”之后查找的电话号码。 然后我创建一个序列来定义所有可能的电话号码（基本上以 0800 开头，后跟 6 位数字），并且……有数百万种可能性。 问题是反向目录只允许连续搜索 15 次，直到我进行 reCAPTCHA 测试。它返回 Error in open.connection(x,"rb") : HTTP error 401. 那么，我怎样才能通过 reCAPTCHA 抓取？ 这是 R 脚本：

library(rvest)
library(dplyr)

#link_example = "https://www.infosva.org/?tel=0800220800&date=14-01-2021"

phone_numbers = data.frame()

for (page_result in seq(from = 800000000,to = 805999999,by = 1)) {
  link = paste0("https://www.infosva.org/?tel=0",page_result,"&date=09-01-2021")
  page = read_html(link)
  num_table = page %>% html_nodes("table.table.table-bordered.table-striped.table-hover") %>%
    html_table() %>% .[[1]]
  exist = page %>% html_nodes(".table-hover+ .txtSignal") %>% html_text()

  phone_numbers = rbind(phone_numbers,data.frame(num_table,exist,stringsAsFactors = FALSE))
  
  print(paste("Page :",page_result))
}

phone_numbers

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

rrrecaptchaweb-scraping