为什么在以下功能中未连接渐变？

问题描述

我正在实施一个客户操作，必须计算其梯度。函数如下：

def difference(prod,box):
    result = tf.Variable(tf.zeros((prod.shape[0],box.shape[1]),dtype=tf.float16))
    for i in tf.range(0,prod.shape[0]):
        for j in tf.range(0,box.shape[1]):
            result[i,j].assign((tf.reduce_prod(box[:,j])-tf.reduce_prod(prod[i,:]))/tf.reduce_prod(box[:,j]))
    return result

我无法计算相对于盒子的梯度，tape.gradient（）返回None，这是我编写的用于计算梯度的代码

prod = tf.constant([[3,4,5],[4,5,6],[1,3,3]],dtype=tf.float16)
box = tf.Variable([[4,[5,7]],dtype=tf.float16)
with tf.GradientTape() as tape:
    tape.watch(box)
    loss = difference(prod,box)
    print(tape.gradient(loss,box))

我无法找到未连接的渐变的原因。是 result 变量引起的吗？请提出一种替代实施方式。

解决方法

是的，为了计算梯度，我们需要对变量进行一组（可微分）运算。

您应该根据2个输入张量重写difference。我认为（尽管很坦率地说，我不是100％肯定！）是使用“赋值”使渐变色带掉下来的。

也许是这样的：

def difference(prod,box):
  box_red = tf.reduce_prod(box,axis=0)
  prod_red = tf.reduce_prod(prod,axis=1)
  return (tf.expand_dims(box_red,0) - tf.expand_dims(prod_red,1)) / tf.expand_dims(box_red,0)

将为您带来预期的结果