问题描述
我正在尝试使用HtmlUnit抓取网站,但它会引发异常。我无法禁用JavaScript,因为该网站是在Angular中构建的。将ThrowExecutionOnScriptError
设置为false
并没有帮助。我尝试了所有浏览器版本。有什么想法吗?
//imports
public class Scrapper {
public static void main(String[] args) throws FailingHttpStatusCodeException,MalformedURLException,IOException {
String url="https://www.gog.com/games?page=1&sort=popularity&price=discounted";
WebClient client=new WebClient(browserVersion.CHROME);
client.getoptions().setCssEnabled(false);
client.getoptions().setJavaScriptEnabled(true);
client.getoptions().setUseInsecureSSL(true);
client.getoptions().setThrowExceptionOnScriptError(false);
HtmlPage page=client.getPage(url);
client.waitForBackgroundJavaScript(3000);
System.out.println(page.asXml());
// List<HtmlElement> items=page.getByXPath("div[@class='product-tile']");
// if(items.isEmpty()) {
// System.out.println("nothing found");
// }else {
// for(HtmlElement i:items) {
// System.out.println(i.asText());
// }
// }
}
}
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)