使用FastAPI和Gunicorn高吞吐量部署模型即服务

问题描述

我正在尝试使用FastAPI和Gunicorn将机器学习模型（基于tensorflow和keras）作为服务进行部署，但是即使增加了Gunicorn工作者和线程的数量，我也无法从API获得足够的吞吐量。

我尝试了以下配置：

1. 1工作人员：gunicorn 模型：app -k uvicorn.workers.UvicornWorker -b主机名：端口 这使我的吞吐量为15个响应/秒

2. 5个工人：gunicorn 模型：app -k uvicorn.workers.UvicornWorker --workers = 5 -b主机名：端口 这使我的吞吐量为30个响应/秒

30个响应/秒是我能够获得的最大吞吐量，而我必须将其扩展到300个响应/秒左右。我也尝试增加线程数，但这也没有导致吞吐量增加。

当我与单个工作人员一起计时请求响应时：返回响应大约需要80毫秒（通过邮递员完成）

我正在尝试在Linux计算机上使用以下详细信息运行该程序：

• 操作系统-CentOS
• CPU-8
• 每个插槽的核心-4
• 每个核心的线程-2
• 内存-〜65Gig

当我尝试运行服务时，系统几乎处于空闲状态（CPU使用率低于5％）。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）