TF / Keras:归零输入和BatchNormalization:有问题吗?

问题描述

我有三个输入要素集,并希望在有条件地启用三个输入要素集的情况下构建模型,因此我可以比较有或没有任何特定输入信息的性能。我可以通过有条件地将输入归零来实现。但是,如果之后有Batchnormalization,全零会否搅乱相应的归一化特征,即将NaN放入我的数据或引入噪声? (假设有一个原因,我不能分别对它们进行批量归一化,然后归零。)


from tensorflow.keras.layers import Input,Dense,Batchnormalization,concatenate,multiply

i1_active = 1
i2_active = 1
i3_active = 0

input1 = Input(30)
input2 = Input(30)
input3 = Input(30)


input1_m = Lambda(lambda x: i1_active*x)(input1)
input2_m = Lambda(lambda x: i2_active*x)(input2)
input3_m = Lambda(lambda x: i3_active*x)(input3)

bn_input = concatenate([input1_m,input2_m,input3_m])

bn = Batchnormalization()(bn_input)

out = Dense(10,activation='softmax')(bn)

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)