如何处理Mediapipe中RNN的显式状态

问题描述

我正在尝试在Mediapipe中运行RNN。由于我需要在特定时间重置模型的状态,并且不想编写自定义推理计算器,因此,我想到了最简单的方法是将RNN的状态显式训练为输入/输出。因此,我的模型具有输入(特征,状态)和输出(结果,状态),并且输出状态张量作为像这样的后沿传递回去:

encoding_calculator -> tflite_inference_calculator -> decoding_calculator
       ^                                                    |
       ---------------------- state -------------------------

我已经实现了这一点,但是遇到一个问题:如果我在encoding_calculator上使用DefaultInputStreamHandler并用state创建打包在decoding_calculator中的InputTimestamp,由于状态包的时间戳记不增加,导致encoding_calculator中出现错误

错误消息建议使用不同的ISH,例如InstantInputStreamHandler,但我无法使其正常工作。因此,我的问题是:什么是正确的设置以确保encoding_calculator中的输入数据包始终与前一个数据包中的状态数据包完全匹配?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)