如何使用 Scrapy 在仪表板中获取数据?

问题描述

我正在从 geTaround.com 抓取一些有关租车的数据。我最近看到可以从使用 Javascript 呈现的日历中使用 scrapy-splash 获取汽车可用性。这个网址给出了一个例子:

https://fr.getaround.com/location-voiture/liege/ford-fiesta-533656

我需要的信息包含在类 divowner_calendar_month 标记中。但是,我发现在 div 标记中似乎可以使用类 js_car_calendar calendar_large 访问某些数据,其中属性 data-path 指定 /dashboard/cars/533656/calendar。您知道如何访问此路径吗?并使用 Scrapy 抓取其中的数据?

解决方法

如果您访问 https://fr.getaround.com/dashboard/cars/533656/calendar,您会收到一条错误消息,提示您必须登录才能查看数据。因此,如果您希望能够抓取该数据,首先您必须在 Scrapy 中创建一个方法来登录网站。