问题描述
||
我想知道是否存在一种简便的方法来下载大量任意类型的文件，例如，下载10,000个XML文件。过去，我使用过Bing \的API。它是免费的，并提供无限查询。但是，它没有像Google那样索引许多文件。 Google为XML文件，CSV文件和KML文件建立索引。 （这些都可以通过类似\“ filetype：XML \”的搜索来找到。）据我所知，Bing不会以易于搜索的方式对它们进行索引。是否有另一个具有这些功能的API？
解决方法
使用using0ѭ怎么样？您可以给“ 0”一个URL（例如，一个Google搜索结果），并告诉它遵循该页面上的所有链接并下载它们（我敢打赌，您也可以给它一个过滤器）。
刚刚尝试过并获得了
ERROR 403: Forbidden.