使用美丽的汤

问题描述

我正在尝试从页面中提取此部分：

使用检查我看到：

inspect 视图中定义的结构是否总是遵循 bs4 返回的内容？

我正在使用：

import json
import requests
from bs4 import BeautifulSoup

url = "https://docs.google.com/document/d/e/2PACX-1vSWVk1yd_I_zhVROYN2wv1r1y_54M-QL0199ZQ4g9mQZ7QdzekVzsRFUB_JVfkInwLxDNPmrwlY2x7y/pub?fbclid=IwAR0BsTNrbDeLb6j7tU2XhVxeh9WaQU_vELyDS3oNvem3eapiJ1zoBqZIYes"    
soup = BeautifulSoup(requests.get(url).content,"html.parser")  
data = soup.find_all('span',"c2")

但它返回：

[<span class="c2"></span>,<span class="c2"></span>,<span class="c2">Gyventojai,kuriems yra daugiau nei 65 Metai (1.14 prioritetas)</span>,<span class="c2">——————————————————————</span>,<span class="c2">Švietimo sistemos darbuotojai bei abiturientai (1.15 prioritetas)</span>,<span class="c2">Diplomatai (1.16)</span>,<span class="c2">Sergantieji lėtinėmis ligomis (1.17)</span>,<span class="c2">Socialinių paslaugų teikėjai (1.18)</span>,<span class="c2">1.20 prioritetas: gyvybiškai svarbias valstybės funkcijas atliekantys asmenys,kontaktuojantys su kitais asmenimis (pareigūnai,prekybos įmonių salės darbuotojai ir kt.),išskyrus bendrųjų funkcijų darbuotojus. Šiuo metu šio prioriteto sąrašai nuolat keliami.</span>,<span class="c2">Gyventojų grupė 55-64 m.</span>,<span class="c2">.</span>,<span class="c2"></span>]

其中不包括 <p class="c6"><span class="c2">ŠIUO METU - TIK SENJORAI:</span></p>

我不确定为什么，因为它在检查视图和 class c2 返回的 data 中都清楚地说明了 bs4。

我是否应该始终遵循包含多个 find 语句的嵌套结构，或者获取所需数据的最佳做法是什么？

解决方法

问题是，CSS 类名在每次重新加载时都会更改，因此有时是 c7，重新加载时是 c1 等等。

此示例将搜索包含“红色”颜色的 CSS 类名称（如您想要的文本一样），然后使用此类名称查找您的文本：

import re
import requests
from bs4 import BeautifulSoup


url = "https://docs.google.com/document/d/e/2PACX-1vSWVk1yd_I_zhVROYN2wv1r1y_54M-QL0199ZQ4g9mQZ7QdzekVzsRFUB_JVfkInwLxDNPmrwlY2x7y/pub?fbclid=IwAR0BsTNrbDeLb6j7tU2XhVxeh9WaQU_vELyDS3oNvem3eapiJ1zoBqZIYes"

html_doc = requests.get(url).text

# find CSS class name that is red:
class_name = re.search(r"\.(c\d+)\{color:#cc0000;",html_doc).group(1)
soup = BeautifulSoup(html_doc,"html.parser")

print(soup.find(class_=class_name).text)

打印：

ŠIUO METU - TIK SENJORAI: