java-如何在春季创建一个非阻塞的@RestController Web服务？

我有一个@RestController webservice方法,该方法可能会通过长时间运行的服务调用来阻塞响应线程.如下：

@RestController
public class MyRestController {
    //could be another webservice api call,a long running database query,whatever
    @Autowired
    private SomeSlowService service;

    @GetMapping()
    public Response get() {
        return service.slow();
    }

    @PostMapping()
    public Response get() {
        return service.slow();
    }
}

问题：如果X用户在这里呼叫我的服务怎么办？执行线程将全部阻塞,直到返回响应.因此吃掉了“最大连接数”,最大线程数等.

我记得前段时间读过一篇有关如何解决此问题的文章,该文章以某种方式驻留线程直到收到缓慢的服务响应.这样这些线程就不会阻塞,例如tomcat max连接/池.

但是我找不到了.也许有人知道如何解决这个问题？

最佳答案

有一些解决方案,例如使用asynchronous requests.在这些情况下,一旦返回CompletableFuture,DeferredResult,Callable …(并不一定完成),线程将再次变为空闲.

例如,假设我们这样配置Tomcat：

server.tomcat.max-threads=5 # Default = 200

我们有以下控制器：

@GetMapping("/bar")
public CompletableFuture<String> getSlowBar() {
    return CompletableFuture.supplyAsync(() -> {
        silentSleep(10000L);
        return "Bar";
    });
}

@GetMapping("/baz")
public String getSlowBaz() {
    logger.info("Baz");
    silentSleep(10000L);
    return "Baz";
}

如果我们一次触发100个请求,则必须等待至少200秒才能处理所有getSlowBar()调用,因为在给定的时间只能处理5个请求.另一方面,对于异步请求,您将必须等待至少10秒钟,因为所有请求都可能会立即处理,然后该线程可供其他人使用.

CompletableFuture,Callable和DeferredResult有区别吗？结果方面没有任何区别,它们的行为都相似.

但是,您处理线程的方式有些不同：

>使用Callable,您依靠Spring使用TaskExecutor执行Callable
>使用DeferredResult,您必须自己进行线程处理.例如,通过执行ForkJoinPool.commonPool()中的逻辑.
>使用CompletableFuture,您可以依赖默认线程池(ForkJoinPool.commonPool()),也可以指定自己的线程池.

除此之外,CompletableFuture和Callable是Java规范的一部分,而DeferredResult是Spring框架的一部分.

但是请注意,即使释放了线程,连接仍然对客户端保持开放状态.这意味着,使用这两种方法,一次可以处理的最大请求数量限制为10000,并且可以配置为：

server.tomcat.max-connections=100 # Default = 10000