问题描述
我正在尝试抓取Google搜索结果。这样，去谷歌搜索“苹果”。您将在知识框中的搜索结果的右列中看到“股票价格：AAPL”
我需要从搜索结果中删除AAPL。检查源之后，我将其称为“ kno-fv”。
page = requests.get("https://www.google.com/search?rlz=1C1CHBF_enUS916US916&ei=R3VZX_OGNvG9gge5n42YDw&q=apple&oq=aaple&gs_lcp=CgZwc3ktYWIQAzIQCC4QsQMQxwEQowIQQxCTAjIECAAQQzILCC4QsQMQxwEQowIyCAgAELEDEIMBMgQIABBDMgcIABCxAxBDMgUIABCxAzICCAAyBQgAELEDMggILhDHARCvAVAAWABgiiBoAHAAeACAAZIBiAGSAZIBAzAuMZgBAKoBB2d3cy13aXrAAQE&sclient=psy-ab&ved=0ahUKEwizxsCurN3rAhXxnuAKHblPA_MQ4dUDCA0&uact=5")
soup = BeautifulSoup(page.content,'html.parser')
ticker=soup.find('span',attrs={'class': "kno-fv"})
data = ticker.get_text()
但是，它总是给我错误或找不到“ AAPL”。
解决方法
谷歌在没有正确用户代理标头的情况下阻止。我已从您的代码示例中将用户代理字符串传递给 requests.get，它成功提取了该 AAPL 代码。
import requests
from bs4 import BeautifulSoup
headers = {
"User-Agent":
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/80.0.3987.87 Safari/537.36"
}
page = requests.get(
"https://www.google.com/search?rlz=1C1CHBF_enUS916US916&ei=R3VZX_OGNvG9gge5n42YDw&q=apple&oq=aaple&gs_lcp=CgZwc3ktYWIQAzIQCC4QsQMQxwEQowIQQxCTAjIECAAQQzILCC4QsQMQxwEQowIyCAgAELEDEIMBMgQIABBDMgcIABCxAxBDMgUIABCxAzICCAAyBQgAELEDMggILhDHARCvAVAAWABgiiBoAHAAeACAAZIBiAGSAZIBAzAuMZgBAKoBB2d3cy13aXrAAQE&sclient=psy-ab&ved=0ahUKEwizxsCurN3rAhXxnuAKHblPA_MQ4dUDCA0&uact=5",headers=headers)
soup = BeautifulSoup(page.content,'html.parser')
ticker = soup.find('span',attrs={'class': "kno-fv"})
data = ticker.get_text()
print(data)
输出
AAPL (NASDAQ) $139.07 +2.20 (+1.61%)Jan 22,4:00 PM EST - Disclaimer
或者，如果您只想访问从搜索结果中提取的数据而不抓取 Google，您可以使用 SerpApi。这是一项免费试用的付费服务。
from serpapi import GoogleSearch
import os
params = {
"q": "Apple","api_key": os.getenv("API_KEY")
}
search = GoogleSearch(params)
data = search.get_dict()
ticker = data["knowledge_graph"]["stock_price"]
print(ticker)
输出
AAPL (NASDAQ) $139.07 +2.20 (+1.61%)Jan 22,4 - 00 PM EST - Disclaimer
免责声明：我在 SerpApi 工作。