问题描述
所以我正在网络抓取 Google，并且很确定它会根据 IP 地址阻止我的请求。我已经将我的应用程序部署到 Heroku（当 dynos 重新启动时它具有动态 IP 地址），我注意到如果应用程序启动，在 5 个请求后，它们将无法正确抓取。如果我重新启动 dyne，那么在它停止抓取之前我会收到另外 5 个请求。这让我相信 dyno 启动时的静态 IP 地址是问题所在。我查看了 QuotaGuard 动态 IP (https://devcenter.heroku.com/articles/quotaguard)，但我认为这行不通，因为 Google 似乎是 https。之前有没有人通过 Heroku 上的不同 IP 动态代理他们的请求（如果是这样，您建议使用什么）？我在 Node.js 环境中工作。
解决方法
使用代理，有大量付费/免费代理。您可以在每个请求上轮换代理。请注意，有不同类型的代理。数据中心 IP、住宅 IP 和最昂贵的移动 IP。