问题描述
我正在尝试使用其他代理服务器在R中进行网站抓取。我在R中使用use_proxy函数,但是没有运气。
请在下面找到我的代码段:
GET("http://had.co.nz",use_proxy("202.40.185.107",8080),verbose())
出现以下错误:
Error in curl::curl_fetch_memory(url,handle = handle) :
Timeout was reached: [had.co.nz] Connection timed out after 10000 milliseconds
任何人都可以帮助我如何在R中更改代理服务器,以避免被网站所有者阻止。我认为上述方法最简单,但对我却不起作用。如果有任何网页抓取向导可以给我一个更好的主意,或者如何解决此问题,我将不胜感激。
谢谢!
解决方法
要使用代理,您需要能够连接到它。您确定可以连接到代理服务器202.40.185.107:8080吗?您可以通过例如将202.40.185.107:8080放入浏览器中,或尝试使用命令行ping 200.40.185.107:8080。
您可以尝试其他代理。我在网上找到了这个,它是免费的。提醒一下-如果您使用代理是为了不被网站所有者阻止,那么您将要使用的代理也可以被网站所有者阻止。
GET("http://had.co.nz",use_proxy("35.169.156.54",3128),verbose())