问题描述
我有一个量化的 TensorflowLite 模型,我正在将它加载到运行 Android 11 的 Pixel 3 上。我使用 Tensorflow Lite 2.5 构建了该模型,并且我正在使用 Tensorflow for Android 的夜间版本。
我正在使用默认提供的 nnapi 委托初始化 TFLite 解释器。
/OperationsUtils(16219): NN_RET_CHECK Failed (frameworks/ml/nn/common/OperationsUtils.cpp:111): Operation QUANTIZE with inputs {TENSOR_FLOAT32} and outputs {TENSOR_QUANT8_ASYMM} is only supported since HAL version 1.2 (validating using HAL version 1.0)
E/Utils (16219): Validation Failed for operation QUANTIZE
E/OperationsUtils(16219): NN_RET_CHECK Failed (frameworks/ml/nn/common/OperationsUtils.cpp:111): Operation QUANTIZE with inputs {TENSOR_FLOAT32} and outputs {TENSOR_QUANT8_ASYMM} is only supported since HAL version 1.2 (validating using HAL version 1.0)
Android 11 应支持 nnapi 1.2。 TensorFlow 或 Android 是否缺少某些参数来支持 nnapi 上的更高版本?
作为参考,这里是我的 gradle 文件中的依赖项:
dependencies {
// snip
implementation 'org.tensorflow:tensorflow-lite:0.0.0-nightly-SNAPSHOT'
implementation 'org.tensorflow:tensorflow-lite-gpu:0.0.0-nightly-SNAPSHOT'
}
解决方法
事实证明,这些错误更多是来自 NNAPI 的警告。 Tensorflow Lite 正在为所有可用设备创建模型,NNAPI 根据操作选择最好的一个。添加详细登录所有这些的最终结果是 NNAPI 决定唯一能够处理模型的设备是 qti-default 设备。错误来自 paintbox 和 nnapi-reference 设备,然后不会在模型的执行中使用。
我认为这些消息是在 NNAPI 上执行模型失败的原因,但还有其他问题。
因此,这个问题的答案是 TensorFlow Lite 和 NNAPI 尽可能选择支持最好的设备,尽管会出现可怕的错误消息。