如何通过 API 获取我的给定 URL 的 Google 上次抓取日期

问题描述

给定任何我“拥有”的网站的网址，我可以在 Google Search Console 中看到以下信息：

我对“上次抓取日期”特别感兴趣。

如何使用 API（Search Console API 或网站管理员工具 API）获取相同的信息？

解决方法

你不能。不是通过 Google Search Console API、Webmaster Tools API 或任何其他与此相关的 Google API。谷歌如何设计他们的 API 如此糟糕，这超出了我的理解。提供对您可以通过同一服务的 UI 访问的 100% 的功能的访问权限，是 API 的第一项最基本要求，但即便如此，它们也无法实现。

有 this workaround（请求 https://webcache.googleusercontent.com/search?q=cache:<YOUR_URL>... 并抓取响应内容），但是您很快就会开始收到“429 太多请求”，所以它基本上没用，除非您只需要制作，我不知道，可能每隔几天就请求一个。

在实践中，除了自己记录爬虫的访问（从用户代理字符串中识别它，可能通过反向查找或仅针对列表来验证 IP）之外，似乎没有任何其他方法。