问题描述
我正在从 geTaround.com 抓取一些有关租车的数据。我最近看到可以从使用 Javascript 呈现的日历中使用 scrapy-splash 获取汽车可用性。这个网址给出了一个例子:
https://fr.getaround.com/location-voiture/liege/ford-fiesta-533656
我需要的信息包含在类 div
的 owner_calendar_month
标记中。但是,我发现在 div
标记中似乎可以使用类 js_car_calendar calendar_large
访问某些数据,其中属性 data-path
指定 /dashboard/cars/533656/calendar
。您知道如何访问此路径吗?并使用 Scrapy 抓取其中的数据?
解决方法
如果您访问 https://fr.getaround.com/dashboard/cars/533656/calendar
,您会收到一条错误消息,提示您必须登录才能查看数据。因此,如果您希望能够抓取该数据,首先您必须在 Scrapy 中创建一个方法来登录网站。