具有两个神经网络的TensorFlow会话-TypeError：获取参数None具有无效的类型<class'NoneType'>

问题描述

我在stackoverflow上看到了类似的问题，但是我发现的任何问题都可以解决我的问题。

当我想使用两个神经网络来控制两个自由度时，我有一些强化学习任务。

我有一个带有两个神经网络的代码：

def reset_graph(seed=42):
    tf.reset_default_graph()
    tf.set_random_seed(seed)
    np.random.seed(seed)

reset_graph()

n_inputs = 10
n_hidden = 8
n_outputs = 3

learning_rate = 0.0025

initializer = tf.contrib.layers.variance_scaling_initializer()
X1 = tf.placeholder(tf.float32,shape=[None,n_inputs],name='X1')
hidden = tf.layers.dense(X1,10,activation=tf.nn.tanh,name = 'hidden1',kernel_initializer=initializer)
logits1 = tf.layers.dense(hidden,n_outputs,name='logit1')
outputs1 = tf.nn.softmax(logits1,name='out1')
action1 = tf.multinomial(logits1,num_samples=1,name='action1')

cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(labels= action1[0],logits=logits1,name='cross_e1')
optimizer = tf.train.GradientDescentOptimizer(learning_rate=learning_rate,name='opt1')
grads_and_vars = optimizer.compute_gradients(cross_entropy)


gradients = [grad for grad,variable in grads_and_vars]
gradient_placeholders = []
grads_and_vars_feed = []
for grad,variable in grads_and_vars:
    gradient_placeholder = tf.placeholder(tf.float32)
    gradient_placeholders.append(gradient_placeholder)
    grads_and_vars_feed.append((gradient_placeholder,variable))
training_op = optimizer.apply_gradients(grads_and_vars_feed)

X2 = tf.placeholder(tf.float32,name='X2')
initializer2 = tf.contrib.layers.variance_scaling_initializer()
hidden2 = tf.layers.dense(X2,name='hidden2',kernel_initializer=initializer2)
logits2 = tf.layers.dense(hidden2,3,name='logit2')
outputs2 = tf.nn.softmax(logits2,name='out2')
action2 = tf.multinomial(logits2,name='action2')

cross_entropy2 = tf.nn.sparse_softmax_cross_entropy_with_logits(labels= action2[0],logits=logits2,name='cross_e2')
optimizer2 = tf.train.GradientDescentOptimizer(learning_rate=0.002,name = 'opt2')
grads_and_vars2 = optimizer2.compute_gradients(cross_entropy2)

gradients2 = [grad2 for grad2,variable2 in grads_and_vars2]
gradient_placeholders2 = []
grads_and_vars_feed2 = []
for grad2,variable2 in grads_and_vars2:
    gradient_placeholder2 = tf.placeholder(tf.float32)
    gradient_placeholders2.append(gradient_placeholder2)
    grads_and_vars_feed2.append((gradient_placeholder2,variable2))
training_op2 = optimizer2.apply_gradients(grads_and_vars_feed2)


init = tf.global_variables_initializer()
saver = tf.train.Saver()

，当我运行它时：

action_val,action_val2,gradients_val,gradients_val2 = sess.run([action,action2,gradients,gradients2],feed_dict={X1: obs.reshape(1,n_inputs),X2: obs.reshape(1,n_inputs)})

我有一个错误：

TypeError                                 Traceback (most recent call last)
<ipython-input-70-fb66a94fa4dc> in <module>
     50                 reward,done,obs = agent.step(rotor_speeds)
     51 
---> 52                 action_val,n_inputs)})

...

TypeError: Fetch argument None has invalid type <class 'NoneType'>

问题出在 gradients2 。当我计算图的其他部分时，它工作正常。例如：

action_val,gradients_val = sess.run(([action1,gradients]),n_inputs)})

它没有问题。

此外，我想知道为什么在由上述代码生成的图上，第一个神经网络的隐藏层（ hidden1 ）和logits（ logit1 ）连接到第二个优化器（ opt2 ），因为我没有在代码中看到这种不需要的连接。也许这是问题的原因，但我也不知道该如何解决。

解决方法

让我们看看gradients2，因为它似乎会引起错误：

>>> gradients2
[None,None,<tf.Tensor 'gradients_1/hidden2/MatMul_grad/tuple/control_dependency_1:0' shape=(10,10) dtype=float32>,<tf.Tensor 'gradients_1/hidden2/BiasAdd_grad/tuple/control_dependency_1:0' shape=(10,) dtype=float32>,<tf.Tensor 'gradients_1/logit2/MatMul_grad/tuple/control_dependency_1:0' shape=(10,3) dtype=float32>,<tf.Tensor 'gradients_1/logit2/BiasAdd_grad/tuple/control_dependency_1:0' shape=(3,) dtype=float32>]

前四个元素是None，这说明了sess.run()失败的原因（您无法评估None）。

那为什么gradients2包含None值？这些值来自grads_and_vars2，让我们来看一下：

>>> grads_and_vars2
[(None,<tf.Variable 'hidden1/kernel:0' shape=(10,10) dtype=float32_ref>),(None,<tf.Variable 'hidden1/bias:0' shape=(10,) dtype=float32_ref>),<tf.Variable 'logit1/kernel:0' shape=(10,3) dtype=float32_ref>),<tf.Variable 'logit1/bias:0' shape=(3,(<tf.Tensor 'gradients_1/hidden2/MatMul_grad/tuple/control_dependency_1:0' shape=(10,<tf.Variable 'hidden2/kernel:0' shape=(10,(<tf.Tensor 'gradients_1/hidden2/BiasAdd_grad/tuple/control_dependency_1:0' shape=(10,<tf.Variable 'hidden2/bias:0' shape=(10,(<tf.Tensor 'gradients_1/logit2/MatMul_grad/tuple/control_dependency_1:0' shape=(10,<tf.Variable 'logit2/kernel:0' shape=(10,(<tf.Tensor 'gradients_1/logit2/BiasAdd_grad/tuple/control_dependency_1:0' shape=(3,<tf.Variable 'logit2/bias:0' shape=(3,) dtype=float32_ref>)]

None的值对应于变量hidden1/kernel，hidden1/bias，logit1/kernel和logit1/bias。这些是hidden1和logit1密集层的参数。这是什么意思？考虑一下grads_and_vars2的计算方式：

grads_and_vars2 = optimizer2.compute_gradients(cross_entropy2)

因此，我们要求TensorFlow针对 TensorFlow图中的所有变量计算cross_entropy2的梯度。这包括cross_entropy2完全不依赖的变量，例如hidden1和logit1密集层的参数。这就是为什么有一些None值的原因。

由于sess.run()不允许您评估None的值，因此会出现错误。

要摆脱此错误，您只需过滤掉None值：

gradients = [grad for grad,variable in grads_and_vars if grad is not None]
...
gradients2 = [grad2 for grad2,variable2 in grads_and_vars2 if grad2 is not None]

错误应该消失。

作为旁注：我鼓励您检查TensorFlow 2（带有tf.keras）：使用起来更容易。