pyCurl 和 BytesIO 用于抓取网站

问题描述

我需要刮刮。具体来说，我使用 Pycurl 和 BytesIO。

以下代码：

c = pycurl.Curl()
page = BytesIO()
c.setopt(c.INTERFACE,"tun0")
c.setopt(c.USERAGENT,userAgent)
c.setopt(pycurl.CAINFO,certifi.where())
c.setopt(c.URL,URL)
c.setopt(c.WRITEDATA,page)
c.perform()

直到昨天，page.getvalue() 会返回页面的 html，然后我将其传递给 bs4。但是，今天，我注意到它返回一个以字节为单位的字符串，我什至无法将其解码为 utf-8，因为它返回一个错误：

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte

如何在字符串中输入 url 的内容，以便将其传递给 bs4 并进行抓取？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

bytesio pycurl python