Tensorflow Serving是否通过缓存运行推理？ 指标：硬件：

编程问答 2022-08-11

问题描述

当我通过docker在版本2.1.0 上使用tensorflow服务来服务我的TF模型时，我使用Jmeter执行了压力测试。这儿存在一个问题。 通过对单个数据进行测试，TPS将达到4400，而在txt文件中对多个数据进行测试时，TPS只会达到1700。该模型是我训练的BiLSTM，没有任何缓存设置。实验全部在本地服务器而不是通过网络执行。

指标：

在单数据任务中，我将30个请求线程之间没有间隔的相同数据设置为运行HTTP请求10分钟。
  • TPS：4491
  • CPU占用率：2100％
  • 99％延迟线（毫秒）：17
  • 错误率：0
在多数据任务中，我通过运行30个请求线程，通过读取txt文件（包含9740000个不同示例的数据集）来设置运行中的HTTP请求。
  • TPS：1711
  • CPU占用率：2300％
  • 99％延迟线（毫秒）：42
  • 错误率：0

硬件：

  • CPU核心：12
  • 处理器：24
  • 英特尔®至强®银牌4214 CPU @ 2.20GHz

Tensorflow服务中是否有缓存？

为什么在压力测试任务中使用单数据测试的TPS比使用各种数据测试的TPS大三倍？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

dockerjmeterjmeterstress-testingtensorflow-serving