扩展GCP AI模型TF服务的问题

问题描述

我已将MNIST数据集部署在GCP AI模型TF上，以解决扩展问题。我想知道其他人是否也遇到过类似的问题，以及解决该问题的方法。

行为

1. 如果我每秒创建3个请求，则模型会在单核上正确给出预测
2. 如果将请求数增加到每秒1000，我会得到“代码”：403， “ message”：“请求的验证范围不足。”， 或javax.net.ssl.SSLHandshakeException：远程主机终止了握手

在另一个模型版本上，我非常确定它可以与Java客户端一起使用，并且也可以通过GCP测试并使用UI来工作，但是自从我尝试以1000 / sec进行缩放以来，它就停止了工作。这是在n1-highmem-2服务器上。给出错误

 "{
  "error": {
    "code": 400,"message": "Request contains an invalid argument.","errors": [
      {
        "message": "Request contains an invalid argument.","domain": "global","reason": "badRequest"
      }
    ],"status": "INVALID_ARGUMENT"
  }"

与在VM上部署模型相比，TF为模型提供gcp AI有什么优势吗？感谢您的帮助

解决方法

您可以发送的online prediction requests per minute数量是有限制的。我的假设是，当您尝试启动60000个请求时，您已经超出了6000个请求/分钟的限制，是原来的十倍。尽管错误消息不是自解释的，但它们可能来自那里。

您可以通过在GCP控制台中检查quotas page并在AI Platform Training＆Prediction API服务下查找“每分钟在线预测请求”来确认。幸运的是，如果您需要更大的缩放能力，则可以使用increasing some of these limits。

关于通过AI平台提供模型的优势，主要是不必担心VM周围的体系结构，因为当有更多请求到达时，VM会自动扩展（假设您已设置所需的限制）供您使用）。