部署和服务 ML 模型有什么区别？

问题描述

最近我开发了一个用于分类问题的ML模型，现在想投入生产对实际生产数据进行分类，在探索中我遇到了两种部署和服务ML模型的方法它们之间的基本区别是什么?

解决方法

根据我自己的阅读和理解，区别如下：

1. 部署 = 这意味着您想要创建一个服务器/API（例如 REST API），以便它能够预测新的未标记数据

2. Serving = 它充当专门用于预测模型的服务器。这个想法是它可以为具有不同请求的多个模型提供服务。

基本上，如果您的用例需要部署多个 ML 模型，您可能需要寻找像 torchServe 这样的服务。但如果只是一个模型，对我来说，Flask 已经足够好了。

参考：

Pytorch Deploying using flask

TorchServe