Tensorflow 2.0 中的二阶导数

问题描述

我正在尝试使用带有 f(x) = (x,x^2,x^3) 的 TF 2.3 来计算标量变量 tf.GradientTape 的简单向量函数的二阶导数。

def f_ab(x):
    return x,x** 2,x** 3

import tensorflow as tf
in1 = tf.cast(tf.convert_to_tensor(tf.Variable([-1,3,6]))[:,None],tf.float64)
with tf.GradientTape(persistent=True) as tape2:
    tape2.watch(in1)
    with tf.GradientTape(persistent=True) as tape:
        tape.watch(in1)
        f1,f2,f3 = f_ab(in1)
    df1 = tape.gradient(f1,in1)
    df2 = tape.gradient(f2,in1)
    df3 = tape.gradient(f3,in1)

d2f1_dx2 = tape2.gradient(df1,in1)
d2f2_dx2 = tape2.gradient(df2,in1)
d2f3_dx2 = tape2.gradient(df3,in1)

出于某种原因，只有最后两个导数是正确的，而第一个 d2f1_dx2 原来是 None。

当我将 f_ab 更改为

def f_ab(x):
    return x** 1,x**3   

我得到了 d2f1_dx2 = <tf.Tensor: shape=(1,4),dtype=float64,numpy=array([[-0.,0.,nan,0.]])> 这是“几乎”正确的结果。

仅当我将 f_ab 更改为

def f_ab(inputs_train):
    return tf.math.log(tf.math.exp(x) ),x**3

我得到了正确的结果：d2f1_dx2 = <tf.Tensor: shape=(1,numpy=array([[0.,0.]])>

有没有人遇到过这个问题？为什么直截了当的方式给出了 None？

解决方法

我认为这是因为 x 的一阶导数是一个常数。因此，当您计算二阶导数时，Y 和 f1 彼此无关，因为 f1 是一个常数。

在 Tensorflow 中，.gradient() 方法默认为 None，如果图中 2 个变量之间没有明确的路径。

gradient(
    target,sources,output_gradients=None,unconnected_gradients=tf.UnconnectedGradients.NONE
)

see Tensorflow doc

您可以通过 0 而不是 None 更改此参数，并且您应该得到 constant 的导数的预期结果。