问题描述
我重新训练了resnet50模型，以便在EDGE TPU上重新识别。但是，似乎无法将一批图像提取到EDGE_TPU。
我想出了一种为图像运行多个相同模型的解决方案。
但是，无论如何，有什么方法可以加快对多个模型的模型推断？现在的线程处理速度甚至比单个模型推断还要慢
解决方法
是的，edgetpu的架构师不允许批量处理。您是否尝试过模型流水线？ https://coral.ai/docs/edgetpu/pipeline/
不幸的是，目前仅在C ++中可用，但我们希望在第四季度中期将其扩展到python。
,因为批处理推理现在不可用，所以流水线处理是另一个辅助选项。但是，在使用我的模型后，我们可以通过将EDGE_TPU的多个单个输入作为另一个选择来制作假批处理
