问题描述
|
我正在研究
一个项目,需要从Google Scholar中
提取一些数据。我的
PHP程序从本地计算机上
获取一个字符串,并将其传递给Google Scholar,然后在
搜索结果页面上将第
一个结果取出并保存到
数据库中。
我必须对近9万个字符串/
查询执行此操作。问题在于,在输入数百行之后,该程序会停止运行,因为Google Scholar要求进行验证码验证。我该怎么办?
解决方法
由于Google学术搜索没有API,因此没有记录下来的方法可以执行您想要的操作。您不应该抓取这样的数据,这就是为什么您要使用Google的机器人保护功能。我认为您唯一的选择是等待Google创建API。