使用 tf.GradientTape() wrt 输入的梯度是 None (Tensorflow 2.4)

问题描述

这是我的模型。我使用的是 Tensorflow 2.4.1。

model = tf.keras.Sequential([
    tf.keras.layers.Embedding(input_dim=1000,output_dim=64,name='embedding',mask_zero=True),tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(32)),tf.keras.layers.Dense(16,activation='relu'),tf.keras.layers.Dense(4,name='logits')
])

metrics = [tf.keras.metrics.SparseCategoricalAccuracy()]

# compile the model
model.compile(optimizer='adam',loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),metrics=metrics)

当我运行以下代码时，我得到 None 作为梯度 wrt 输入。

def compute_gradients(t,target_class_idx):
    with tf.GradientTape() as tape:
        tape.watch(t)
        logits = model(t)
        probs = tf.nn.softmax(logits,axis=-1)[:,target_class_idx]
    grads = tape.gradient(probs,t)
    return grads

这是一个示例输入和调用

sample_tensor = tf.random.uniform(shape=(1,50))

path_gradients = compute_gradients(
    t=sample_tensor,target_class_idx=0)

print(path_gradients)

None

我做错了什么？

谢谢

解决方法

TensorFlow 中的 const htmlElement = document.getElementById(idUniqueInNgIfButDuplicatedAcrossFalseNgFif)\ htmlElement.addEventListener('touchstart',e => this.onTouchStart(e),true); htmlElement.addEventListener('touchend',e => this.onTouchEnd(e),true); htmlElement.addEventListener('mousedown',e => this.onMouseDown(e)); htmlElement.addEventListener('mouseup',e => this.onMouseUp(e)); 层是不可微的。 来源：https://github.com/keras-team/keras/issues/12270