并发AzureML REST请求失败，服务请求过多超载

问题描述

我已将模型部署到具有6个节点的生产Azure Kubernetes服务中。

顺序推理请求从score.py获得预期的响应。

当我有多个并发异步推理请求时，除了第一个返回503 Too many requests for service {my service name} (overloaded)以外的所有请求。

我基于示例https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/deployment/production-deploy-to-aks/production-deploy-to-aks.ipynb构建了服务并部署了模型。

我发送的请求最大为4mb。当我发送小的请求时，它似乎起作用。

解决方法

在此处查看指南：https://docs.microsoft.com/en-us/azure/machine-learning/how-to-troubleshoot-deployment#http-status-code-503

如果您尝试同时接收许多请求，建议您同时使用Triton进行高性能服务：https://docs.microsoft.com/en-us/azure/machine-learning/how-to-deploy-with-triton?tabs=python