问题描述
我正在尝试从基本表中的市值中提取 finviz(https://finviz.com/quote.ashx?t=aapl),但我终生无法找到表或带有美丽汤的班级。似乎每次我使用soup.find_all() 时它都适用于'div'、'td'、'table' 等,但是当我尝试添加一个像{'class':'snapshot- 这样的类时它返回一个空列表td2'}。有谁知道我该如何解决这个问题?
import requests
from bs4 import BeautifulSoup
import bs4
def parseMarketCap():
response = requests.get("https://finviz.com/quote.ashx?t=aapl")
soup = bs4.BeautifulSoup(response.content,"lxml")
table = soup.find_all('td',{'class':'snapshot-td2'})
print(table)
我也尝试了以下表格,但也没有运气:
table = soup.find_all('table',{'class': "snapshot-table2"})
解决方法
因为 QHarr 建议您添加 user-agent
以获得正确响应
response = requests.get("https://finviz.com/quote.ashx?t=aapl",headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/83.0.4103.116 Safari/537.36'})
soup = BeautifulSoup(response.text,"lxml")
content_table = soup.find('table',{'class':'snapshot-table2'})
tabel_rows = content_table.find_all('tr')
market_cap = tabel_rows[1].find_all('td')[1].text
print(market_cap)
,
尝试使用 User-Agent 来处理您的请求:
user_agent = {'User Agent':'YOUR_USER_AGENT'}
r = requests.get('YOURURL',headers=user_agent)
...
,
您需要一个用户代理标头,然后您可以使用 -soup-contains:
通过其文本定位前面的 td
,然后移动到所需的值字段:
import requests
from bs4 import BeautifulSoup as bs
r = requests.get('https://finviz.com/quote.ashx?t=aapl',headers = {'User-Agent':'Mozilla/5.0'})
soup = bs(r.content,'lxml')
print(soup.select_one('td:-soup-contains("Market Cap")').find_next('b').text)