来自从 162.158 或 141.101 开始的 IP 的用户代理“Java/11.0.10”积极抓取网站

问题描述

我在我的网站上遇到了一个奇怪的问题。我的服务器每天崩溃几次，在 2 个 cpu 的服务器上平均负载达到 100 分钟。请注意，我的平均负载通常小于 2。

在从我的服务器日志中调查问题的原因后，我意识到罪魁祸首是一个名为“Java/11.0.10”的用户代理，其 IP 从 162.158 或 141.101 开始。

部分 IP 是： 162.158.94.167 162.158.91.156 162.158.88.7 162.158.89.63 141.101.76.175 141.101.105.119 141.101.104.200

我可以看到这些 IP 来自 cloudflare（是的，我使用了 cloundflare）。请求同时访问网站上的多个页面，导致服务器崩溃。

现在我的问题是：

1. 这些请求是否来自 cloudflare 以便预加载缓存？
2. 什么是用户代理“Java/11.0.10”？
3. 如果请求不是来自 Cloflare，我该如何阻止用户代理或 IP 范围抓取网站，同时允许合法用户继续访问网站？

提前致谢。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）