使用 'requests.get()' 时，html 小于实际 html

问题描述

第一张图是python引入的网站html，第二张图是网站按F12查看的实际html。我不知道为什么这两个结果不同。其他网站正常显示html，但不知道为什么只有那个网站显示不正常。

代码如下：

import requests
from bs4 import BeautifulSoup


result = requests.get('https://www.overbuff.com/heroes')

soup = BeautifulSoup(result.text,"html.parser")

print(soup)

解决方法

您可能被页面屏蔽了，应该尝试使用一些headers，例如：

headers = {"user-agent": "Mozilla/5.0"}    
r = requests.get(url,headers=headers)

示例

import requests
from bs4 import BeautifulSoup
url = "https://www.overbuff.com/heroes"
headers = {"user-agent": "Mozilla/5.0"}

r = requests.get(url,headers=headers)

soup = BeautifulSoup(r.text,"html.parser")

print(soup)