长排队时间tomcat后如何忽略请求

问题描述

当后端tomcat服务器收到请求时，如果没有可用的工作线程，则请求排队。我有一个前端，它在显示超时并终止连接之前等待（比如）30 秒。如果前端在请求在队列中时超时，即使连接终止，当请求到达队列顶部并且工作线程可用时，请求仍然由服务器处理。但是这个处理是多余的，因为前端已经超时了。

此外，请求会一直保留在队列中，直到有机会被处理，这实质上是阻塞队列以接收前端仍需要响应的新请求。

我愿意接受任何后端更改（Tomcat / JVM 或其他）

附言我知道 tomcat 没有关于接受队列的任何信息。我读到 comm stack 有该信息。但我仍然不清楚可以做什么

解决方法

如果您不想在一段时间后等待，则首先不需要将请求排队。唯一的方法是将 TCP 积压设置为零，并希望操作系统合作。

您可能想在此处重新考虑您的应用程序的一些事情。

首先，您可以调整 TCP 积压，但当然请求可能需要任意时间才能完成。因此，如果您只有 1 个请求处理线程并且它很忙，那么客户端将不得不不断发出请求，直到它可以获得一个空闲线程（因为积压为零）。完成飞行中请求的时间是不可知的，因此您必须重试。

其次，客户端无法知道它的请求是在 TCP 积压中等待还是正在被主动服务，因此它要么必须等到收到响应或超时。如果你不能判断请求是否已经开始，你就不会真正知道是否值得等待。

第三，任何 TCP 连接都可能随时中断或失败。因此，如果服务器收到请求，即使客户端没有得到响应，它也可能会处理它。 （如果客户已经放弃，这基本上是相同的情况。）

有几种方法可以处理上述情况。

一种方法是使用称为 100-Continue 的 HTTP 功能，其中客户端通过发送请求行和标头（包括 Expect: 100-continue 标头但没有请求正文以及 POST 或 PUT 请求）来发出请求。服务器在准备好处理请求之前不会回复 100 Continue 响应代码。如果您的 e.g. 中没有 100 Continue 30 秒窗口，您关闭连接，然后...不要继续请求。如果您确实收到 100 Continue 响应，那么您可以发送您的请求正文，其中大概包含实际处理请求所需的所有内容。如果服务器没有收到请求正文，它可能会（在某种程度上）优雅地失败，并且该请求基本上会被忽略。

服务器检测客户端是否还在的另一种方法是尝试将数据写回客户端。在服务器、操作系统和网络中进行缓冲有时会使这变得不切实际，并且可能会降低您的网络性能（因为响应必须分块才能做到这一点）。如果客户端消失了并且您没有受到操作系统的阻碍，那么您将收到 IO 错误并且您的服务器端进程可以中止。

您可能想要做的另一件事是确保您的所有（或大部分）进程都是 idempotent。基本上，允许对同一事物的重复请求不成问题（当然，性能除外）。您可以使用诸如交易令牌或其他“可过期”资源之类的东西，这些资源允许客户端一遍又一遍地请求相同的内容，但只会成功一次。而且，出于您的目的，您希望检查此类令牌的有效性非常快，以免造成性能问题。

要吞下很多东西，但希望里面有一些对你有帮助的东西。