使用 tensorlfow 进行深度学习：GradientTape 实现中的问题

问题描述

以下代码是对我的训练循环的 3 种不同测试，在前两种情况下，梯度返回 Null 向量，在最后一种情况下有效。

这是我第一次尝试，根据网上的资料，with语句记录了里面的可训练变量。

for epoch in range(epochsize):
    for batch in batchlist:
        loss_value = tf.constant(0.)
        mini_batch_losses = []
        for seqref in batch:
            seqref=int(seqref)
            with tf.GradientTape() as tape:
                X_train,y_train = loadvalue(seqref) #caricamento elementi
                logits = model(X_train,training=True)
                loss_value = loss_fn(y_train,logits)
                mini_batch_losses.append(loss_value)
        loss_avg = tf.reduce_mean(mini_batch_losses)
        print("batch " + str(seqref) + " losses:" + str(loss_avg.numpy()))
        grads = tape.gradient(loss_avg,model.trainable_weights)
        optimizer.apply_gradients(grads_and_vars=zip(grads,model.trainable_weights))

但由于某些原因它不起作用，所以我尝试（随机）将 with 语句放在前面，但它也不起作用

for epoch in range(epochsize):
    for batch in batchlist:
        loss_value = tf.constant(0.)
        mini_batch_losses = []
        with tf.GradientTape() as tape:
            for seqref in batch:
                seqref=int(seqref)
                X_train,model.trainable_weights))

最后，包括with语句中的平均值，它终于起作用了

for epoch in range(epochsize):
    for batch in batchlist:
        loss_value = tf.constant(0.)
        mini_batch_losses = []
        with tf.GradientTape() as tape:
            for seqref in batch:
                seqref=int(seqref)
                X_train,logits)
                mini_batch_losses.append(loss_value)
            loss_avg = tf.reduce_mean(mini_batch_losses)
        print("batch " + str(seqref) + " losses:" + str(loss_avg.numpy()))
        grads = tape.gradient(loss_avg,model.trainable_weights))

主要问题是我不知道它是否有效或只是有效..所以我需要更详细地了解gradientTape是如何工作的。你能帮我吗？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）