混合tf.keras.mixed_precision是否可以进行推理？

问题描述

我不确定我是否理解张量流keras mixed precision的想法。我的目标是运行精度为浮点16的tf.keras模型，以提高推理速度。可以做到混合精度吗？

我正在设置模型，然后再训练模型：

from tensorflow.keras.mixed_precision import experimental as mixed_precision
policy = mixed_precision.Policy('mixed_float16')
mixed_precision.set_policy(policy)

或者这只是为了加快培训速度。如果是这样，我如何实现tf.keras模型的权重/激活以具有FP16精度？

注意：我正在使用tensorflow==2.3.0

解决方法

与您提到的链接一样，培训的精度也参差不齐。 Nvidia有更多的深度信息，这在这里意味着什么： https://docs.nvidia.com/deeplearning/performance/mixed-precision-training/index.html

此处描述了实际过程，以及如何以及为什么在FP32中复制FP16砝码作为主砝码（因此混合了精度）。 https://arxiv.org/pdf/1710.03740.pdf

但是硬件中还存在混合精度运算，当数据为FP32并且权重/偏差位于FP16中时，这些运算可以加快推理速度，而支持混合精度运算的硬件可以大大加快推理速度。

例如，使用Nvidia T4时，我在YOLO3上加速了约2，而在Nvidia 1080上却没有加速。