如何仅在 CPU 上运行 tflite

问题描述

我有一个在珊瑚 USB 中运行的 tflite 模型，但我也可以在 cpu 中运行（作为在珊瑚 USB 不可用时通过一些测试的替代方法）。

我找到了 this very similar question，但给出的答案没有用。

我的代码如下：

class CoralObjectDetector(object):

    def __init__(self,model_path: str,label_path: str):
        """
        CoralObjectDetector,this object allows to pre-process images and perform object detection.
        :param model_path: path to the .tflite file with the model
        :param label_path: path to the file with labels
        """

        self.label_path = label_path
        self.model_path = model_path

        self.labels = dict()  # type: Dict[int,str]

        self.load_labels()

        self.interpreter = tflite.Interpreter(model_path),experimental_delegates=[tflite.load_delegate('libedgetpu.so.1')])

        # more code and operations

从 here 下载模型和标签的位置。

我想加载相同模型的替代版本，让我在没有珊瑚 USB 加速器（即仅在 cpu 中）执行。我的目标如下：

class CoralObjectDetector(object):

    def __init__(self,label_path: str,run_in_coral: bool):
        """
        CoralObjectDetector,this object allows to pre-process images and perform object detection.
        :param model_path: path to the .tflite file with the model
        :param label_path: path to the file with labels
        :param run_in_coral: whether or not to run it on coral (use cpu otherwise)
        """

        self.label_path = label_path
        self.model_path = model_path

        self.labels = dict()  # type: Dict[int,str]

        self.load_labels()

        if run_in_coral:

            self.interpreter = tflite.Interpreter(model_path),experimental_delegates=[tflite.load_delegate('libedgetpu.so.1')])

        else:
            # I expect somethig like this
            self.interpreter = tflite.cpuInterpreter(model_path)
        # more code and operations

我不确定在推理/预测方法中我是否只需要这个或其他东西。

解决方法

当您编译 Coral 模型时，它会将所有可以执行的操作映射到单个 TPU 自定义 OP - 例如： Coral Model 。

这意味着此模型仅适用于 TPU。话虽如此，您的 TFLite 解释器也可以运行 CPU 模型（我们所做的只是添加实验委托来处理该 edgetpu-custom-op）。要运行 CPU 版本，只需传递模型的 CPU 版本（在编译之前）。

对于您的物体检测，如果您使用我们在 test_data 中提供的模型之一，您会看到我们提供了 CPU 和 TPU 版本（例如，对于 MNv1 SSD，我们有 CPU 和 { {3}} 个版本）。如果您将它们插入到我们的任何代码中，您就会看到两者都有效。

在选择您使用的型号时，我只是检查一下是否连接了 Coral TPU。

google-coral python