张量流中的自定义梯度 - 无法理解此示例

问题描述

我一直认为我即将了解自定义渐变，但后来我测试了这个示例，但我无法弄清楚发生了什么。我希望有人可以带我了解下面到底发生了什么。我认为这主要是因为我没有具体理解向后函数中的“dy”是什么。

v = tf.Variable(2.0)
with tf.GradientTape() as t:
    x = v*v 
    output = x**2
print(t.gradient(output,v)) 
**tf.Tensor(32.0,shape=(),dtype=float32)** 

这里一切都很好，梯度正如人们所期望的那样。然后我使用自定义梯度测试这个例子，它（根据我的理解）不可能影响梯度，因为我在 clip_by_norm 中设置了这个巨大的阈值

@tf.custom_gradient
def clip_gradients2(y):
    def backward(dy):
        return tf.clip_by_norm(dy,20000000000000000000000000)
    return y**2,backward

v = tf.Variable(2.0) 
with tf.GradientTape() as t: 
    x=v*v
    
    output = clip_gradients2(x) 


print(t.gradient(output,v))

tf.Tensor(4.0,dtype=float32)

但它减少到 4，所以这在某种程度上是有影响的。这究竟是如何导致更小的梯度？

解决方法

编写自定义渐变时，必须自己定义整个导数计算。如果没有您的自定义渐变，我们有以下导数：

((x**2)**2)dx = (x**4)dx = 4*(x**3) = 32 when x=2

当您覆盖梯度计算时，您只有

(x**2)dx = 2x = 4 when x=2

您需要计算函数中的导数，即：

@tf.custom_gradient
def clip_gradients2(y):
    def backward(dy):
        dy = dy * (2*y)
        return tf.clip_by_norm(dy,20000000000000000000000000)
    return y**2,backward

获得所需的行为。