如何对决CNN的输出执行逻辑回归？

问题描述

编辑：拿出一些可能没有用的文本。

首先，我本质上是AI和RL的新手。

我正在尝试根据图1（Dueling CNNs）实现一个对决神经网络，该图来自此处链接的论文https://link.springer.com/content/pdf/10.1007/s11063-017-9702-7.pdf[enter这里的图像描述] 1。我只需要奖励和价值流。输入是两个连续状态（即来自游戏过程的两个连续图像）X（t），Y（t）= X（t + 1）。奖励仅取决于X（r（X）），并且输出是单个标量。在更新参数之前，会同时为X和Y（V（X）和V（Y））计算值函数，并且每种状态都有一个标量输出。奖励和价值函数的估计用于Bellman方程的简化形式以及给定X和Y的类别标签的概率。该条件概率被传递到逻辑回归（LR）更新中。这是我迷路的地方。

如何在keras中设置LR优化问题？我相信我缺少一些简单的东西。我对标签的估计是Pr（label | X，Y）的偏移和拉伸，因此它是[-1,1]中的数字，然后与真实标签（-1或1）相比，使用和MSE损失。我还附加了可以运行的代码，但是由于我最后对优化部分不了解，因此损失和准确性根本没有改变。

P.S。 很抱歉，当我尝试将代码粘贴到该条目中时，缩进是否​​搞砸了。

谢谢大家的帮助或建议！

def class DuelQ:
    def __init__(self,num_rows,num_cols,GAMMA):
    # print('Input shape is',States.shape)
       self.X = keras.Input(shape = (num_rows,1),name = 'state_X') # (num_rows,1)
       self.Y = keras.Input(shape = (num_rows,name = 'state_Y') # (num_rows,1)
       self.r = CNnet([self.X],'reward_net')
       self.V = CNnet([self.X,self.Y],'value_net')
       self.joint_function = self.joint_model(GAMMA)
    
def joint_model(self,GAMMA):
    r = self.r.outputs[0]
    V = self.V.outputs[0]
    one_half = tf.constant(0.5)
    two = tf.constant(2.0)
    tfGAMMA = tf.constant([[-1],[GAMMA]],dtype=tf.float32)
    label_xy = tf.tensordot(V,tfGAMMA,axes=1,name='V_scale')
    label_xy = tf.add(r,label_xy,name='r_and_V' )
    label_xy = tf.sigmoid(label_xy,name='sigXY_output')
    label_xy = tf.math.subtract(label_xy,one_half,name='Bellman_shift')
    label_xy = tf.math.multiply(label_xy,two,name='Bellman_label')
    model_temp = keras.Model(inputs=[self.X,outputs=label_xy)
    opt = keras.optimizers.Adam(learning_rate=0.1)
    model_temp.compile(loss='mse',optimizer=opt,metrics=['acc'])
    
    return model_temp

  def CNnet(inputs,layer_prefix):
    if len(inputs) == 2:
       input_layer = keras.layers.Concatenate(axis=-1)(inputs)
    elif len(inputs) == 1:
       input_layer = inputs[0]
    else:
       raise ValueError('Inputs must be 1 or two images,no more')
  
    c = Convolution2D(filters=32,kernel_size=8,strides=4,activation='relu',name=f'{layer_prefix}_conv1')(input_layer)
    c = Convolution2D(64,4,strides=2,name=f'{layer_prefix}_conv2')(c)
    c = Convolution2D(64,3,strides=1,name=f'{layer_prefix}_conv3')(c)

############################################################
# Stuff to fiddle with
    c = Convolution2D(1,1,name=f'{layer_prefix}_channel_reduce')(c)
# c = tf.keras.layers.AveragePooling2D(4)(c)
# c = keras.mean(c,axis=-1)
############################################################    

    fc = Flatten(name=f'{layer_prefix}_flatten1')(c)
    fc = Dense(512,name=f'{layer_prefix}_dense1')(fc)   
    fc = Dense(len(inputs),name=f'{layer_prefix}_intermediate_output')(fc)
    
    Uchibe_CNN = keras.Model(inputs,fc)

    return Uchibe_CNN
t0 = time.time()
my_callbacks = None
GAMMA = 0.9
ddqn = DuelQ(num_rows,GAMMA)
StatesY = np.vstack( [Y_pi,Y_b])
StatesY = np.reshape(StatesY,(*StatesY.shape,1))
joint_hist = ddqn.joint_function.fit(x=[States,StatesY],y=Labels,epochs=3,callbacks=my_callbacks)
t1 = time.time()
print('Time taken:',t1-t0,'seconds')

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）