问题描述
我有一个已转换为 tflite 的文本分类模型。我在具有 512 mb 内存的 armv7 架构上运行 debian 10 的 linux SBC 上运行 tflite 模型。使用此模型运行推理是即时的，但在加载保存的标记器（pickle 文件）后，每个样本的推理大约需要 12 秒。
我的问题是：如何优化推理时间以便更快地对每个样本进行分类？
编辑：我通过迭代另一个大约有 300000 个键的 python dict 来运行一个测试，但整个迭代用了不到一秒钟。怎么会发生这种情况，但模型迭代加载的分词器所需的时间却很长？
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）