可以请求python库在存储该页面的内容之前强制页面加载所有javascript动态内容

Beautifulsoup通常可用于(1)将页面内容存储在变量中
(2)解析网页中的元素.

但是它上面的Beautifulsoup本身无法打开 – 密码保护的HTTP错误403页.所以我使用了这个任务的请求.

现在我想知道Requests库是否能够强制加载页面上的javascript？

我正在使用python2.7

请求是否具有request.open(some url).forceJavascriptLoad的能力

解决方法

不可以.请求无法以任何方式执行javascript.你需要一个所谓的“无头”网络浏览器来做你想要的. Here是其中一些的列表.作为建议,我建议你试试 PhantomJS,虽然它不是用Python编写的,但它有几个优点：

>易于设置和使用
>积极开发并且不像许多其他无头浏览器那样放弃
>有非常好的JavaScript支持
>很快
>提供预编译的二进制文件,以防您在编译内容时遇到问题

我自己尝试了很多无头浏览器,我对PhantomJS感到满意.如果您仍想尝试基于Python的无头浏览器,可以试试Ghost.