问题描述
keras模型如下:
images = tf.zeros(shape=[10,256,3])
input_x = Input(shape=input_shape)
x=Conv2D(...)(input_x)
...
y_pred1 = Conv2D(...)(x) # shape of (None,80,2)
y_pred2 = Dense(...)(x) # shape of (None,4)
y_merged = Concatenate(...)([y_pred1,y_pred2])
model = Model(input_x,y_merged)
和y_pred1
是我希望模型学习预测的结果。
但是y_pred2
分支的损失函数fcn1
需要y_pred1
预测结果,因此我必须将两个分支的结果连接起来才能得到y_pred2
,这样y_merged
将有权访问fcn1
。
问题是,我想使用y_pred2
层将Concatenate
输出与y_pred1 (None,4)
输出连接起来,但是我不知道该怎么做。
如何将y_pred2 (None,2)
重塑为(None,4)
?例如,通过用(None,1)
中的4个元素和零填充(None,1)
。
是否有比使用y_pred2
层更好的解决方案?
解决方法
也许这段提取的代码可以帮助您:
tf.print(condi_input.shape)
# shape is TensorShape([None,1])
condi_i_casted = tf.expand_dims(condi_input,2)
tf.print(condi_i_casted.shape)
# shape is TensorShape([None,1,1])
broadcasted_val = tf.broadcast_to(condi_i_casted,shape=tf.shape(decoder_outputs))
tf.print(broadcasted_val.shape)
# shape is TensorShape([None,23,256])
当您要广播值时,请首先考虑要广播的内容。在此示例中,condi_input具有shape(None,1)
并作为我的编码器-解码器lstm网络的条件帮助了我。为了匹配lstm编码器状态的所有维度,首先我必须使用tf.expand_dims()
将条件值从[[1]]
这样的形状扩展为[[[1]]]
。
这是您首先需要做的。如果您根据密集层的预测得出softmax值,则可能要先使用tf.argmax()
,这样就只有一个值,这更易于广播。但是,请记住,尺寸为4也是可以匹配的。您无法将shape(None,4)
广播到shape(None,6)
,而是广播到shape(None,8)
,因为8可以通过4进行划分。
然后,您可以使用tf.broadcast()
将您的价值传播成所需的形状。然后,您有两个形状,可以连接在一起。
希望这对您有所帮助。
弄清楚了,代码是这样的:
input_x = Input(shape=input_shape)
x=Conv2D(...)(input_x)
...
y_pred1 = Conv2D(...)(x) # shape of (None,80,2)
y_pred2 = Dense(4)(x) # (None,4)
# =========transform to concatenate:===========
y_pred2_matrix = Lambda(lambda x: K.expand_dims(K.expand_dims(x,-1)))(y_pred2) # (None,4,1)
y_pred2_matrix = ZeroPadding2D(padding=((0,76),(0,79)))(y_pred2_matrix) # (None,1)
y_merged = Concatenate(axis=-1)([y_pred1,y_pred2_matrix]) # (None,3)
y_pred2的4个元素可以索引为y_merged[None,:4,2]