问题描述
我正在关注neural style transfer上的教程。通过最小化相对于图像(用内容图像初始化)的损失函数来完成样式转换。以下代码让我感到困惑:
preprocessed_input = tf.keras.applications.vgg19.preprocess_input(inputs)
,它是call
类中StyleContentModel
方法的一部分。 TensorFlow如何知道此操作的梯度?我已经使用模块get_gradient_function
中的tensorflow.python.framework.ops
检查了此操作是否具有梯度函数,据我所知没有。
解决方法
这与模型或渐变无关。此功能的作用是缩放输入图像,使像素在-1到+1的范围内。这是用于迁移学习中的许多模型(例如VGG和MobileNet)的普遍要求。如果使用ImageDataGenerator,则它具有一个参数preprocessing_function,生成器会调用该参数来预处理图像。确保是否对训练图像进行了预处理,对测试图像和验证图像进行了相同的操作。
,这非常简单,该函数在内部使用可微分的符号张量运算。 TensorFlow可以通过内部使用TensorFlow操作的函数来计算梯度,无需为每个函数手动定义梯度。
您可以通过查看该函数here的代码来进行确认,特别是如果您查看的_preprocess_symbolic_function
here使用的是普通标量运算和Keras后端函数( tf.keras
中的TensorFlow函数。