无法获取Python请求GET以与spitogatos.gr

问题描述

我一直在尝试从 www.spitogatos.gr 抓取数据，但是没有运气。 我的代码如下所示：

import requests

headers={
    'Host': 'www.spitogatos.gr','User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:79.0) Gecko/20100101 Firefox/79.0','Accept': 'application/json; charset=utf-8','Accept-Language': 'en-US,en;q=0.5','Accept-Encoding': 'gzip,deflate,br','Referer': 'https://www.spitogatos.gr/','Content-Type': 'text/plain; charset=utf-8','Origin': 'https://www.spitogatos.gr'
}

url = "https://www.spitogatos.gr/search/results/residential/sale/r100/m2007m/propertyType_apartment/onlyImage"
req = requests.get(url,headers=headers)
print (req)
print (req.content)

尽管我得到的响应状态为200，但没有得到任何有用的内容，而是得到了HTML消息：

原谅我们的打扰当您浏览有关您的某些信息时 浏览器使我们认为您是机器人。这有几个原因 可能会发生：

您已在网络浏览器中禁用了JavaScript。您是超级用户 以超人类的速度浏览该网站。你已经禁用了 您的网络浏览器中的Cookie。第三方浏览器插件，例如 Ghostery或NoScript阻止了JavaScript的运行。 ...

现在，我看了一下Firefox，看看它发送了什么样的请求，尽管它发送了POST请求，但我确实复制了Firefox随其发送的Cookie。所以我的标题看起来像：

headers={
    'Host': 'www.spitogatos.gr','Origin': 'https://www.spitogatos.gr','Cookie':'PHPSESSID=iielr7e8boibudjmln9ubd3i62; spitogatosS=areaIDs%255B0%255D%3D2007%26propertyCategory%3Dresidential%26listingType%3Dsale; currentCurrency=EUR; spitogatosInfoBar_shortCuts=false; openedTabs=; _ga=GA1.2.1557987790.1597249012; _gid=GA1.2.507964674.1597249012; _gat_UA-3455846-10=1; _gat_UA-3455846-2=1; _hjid=dfd027d6-e6f1-474c-a427-c26d5f2ca64c; _cmpQcif3pcsupported=1; reese84=3:T2t/w3VdpNG5w9Knf78l7w==:Gg20L4RyGJffieidEn4Eb1Hmb3wyAtPQfmH/5WYHWfKjzLmjhkGCoTR0j5UUmKxIbkzZltWBeJ6KaPVCFa5qiaddz2Cn6OltrBdp…2YIriDYTOwLMNNxEFPDPkL/Lw2cGC0MwJ3uUg6kSP/VgPp/AYkIcVjXLgqjSwmAdGl4oQDyrAKDpn9PcN/fWSUjPrtAOAJzkWcZ7FPCfvcsnAo9oSNpXtAaZ0JLzgMKXqQqP8Jrakjo4eL9TSdFKIVEJZos=:eBpByDUvhUkR0pGwgnYacTV3VeYzKEi+4pJpI3mhQ6c=; _fbp=fb.1.1597249012911.16321581; _hjIncludedInPageviewSample=1; eupubconsent=BO4CN1PO4CN1PAKAkAENAAAAgAAAAA; euconsent=BO4CN1PO4CN1PAKAkBENDV-AAAAx5rv6_77e_9f-_fv_9ujzGr_v_e__2mccL5tn3huzv6_7fi_-0nV4u_1tfJdydkh-5YpCjto5w7iakiPHmqNeZ1nfmz1eZpRP58E09j53zpEQ_r8_t-b7BCHN_Y2v-8K96lPKACA; spitogatosHomepageMap=0'.encode('utf8')
}

现在，当我执行此请求时，请求有时会工作，有时还会给我以上消息。因此，我一直在刷新Firefox并将Cookie复制到我的python脚本中。 这是一个大热门。

我也一直在尝试复制firefox的确切POST请求（相同的数据，参数和标头），但这给了我相同的错误消息。

无论我执行多少请求或刷新，Firefox似乎都没有此问题。

有人可以帮我吗？ 谢谢

解决方法

指定User-Agent和Accept-Language每次都能得到正确的响应（例如，尝试将User-Agent标头更改为Linux标头）：

import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:79.0) Gecko/20100101 Firefox/79.0','Accept-Language': 'en-US,en;q=0.5'
}
url = 'https://www.spitogatos.gr/search/results/residential/sale/r100/m2007m/propertyType_apartment/onlyImage'

print( requests.get(url,headers=headers).text )

,

我已经解决了问题：答案实际上非常简单。造成阻塞的原因是“ adblocker Ultimate”。 因此，如果您有一些添加阻止程序，则可以尝试停用它们，只是为了看看，因为当您使用它们时，该网站会将您标识为机器人。 但要知道，我有3个添加的阻止程序（addblock plus，ublock起源和adblocker Ultimate），似乎只有adblocker Ultimate（最近才安装，而我几个月以来就安装了其他）造成了麻烦。 如果您处于同一情况，我希望该解决方案也能为您服务；或可以帮助其他人。