使用TOCO的TFLite量化的舍入模式

问题描述

我试图了解TOCO如何精确量化带注释的模型。假设我们有一个keras模型：

Conv2D
MaxPool
Conv2D
MaxPool
Flatten
Dense
Dense(SoftMax)

其中Conv2D层已注释，用于使用QuantizeConfig基于以下量化器对权重和激活进行量化的训练后量化：

LastValueQuantizer(num_bits=8,symmetric=True,narrow_range=False,per_axis=False)

据我所知，使用TOCO将此类带注释的keras模型转换为TFLite应该会产生一个模型，其中Conv2D层已量化为8位整数，而其余部分则保持在32位浮点数。那是对的吗？如果是，如何完成从32bit输入的keras Conv2D层到int8的舍入？使用float16而不是int8时情况是否相同？设置num_bits = 4的解决方案是什么？

感谢您的帮助！

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）