为什么要添加一个导致val_loss和val_mae较大的退出层？

问题描述

最近，我在回归任务中使用了多个密集层。

对于每个密集层，我都使用带有lecun_normal的SELU激活。

但是，当我在一个隐藏层之后添加一个AlphaDropout层时，val_loss变得非常大，如下所示：

Train on 582050 samples,validate on 83150 samples

Epoch 1/1000

582050/582050 [==============================] - 3s 4us/sample - loss: 22.1010 - mae: 22.5942 - val_loss: 70.2438 - val_mae: 70.7436

Epoch 2/1000

582050/582050 [==============================] - 2s 3us/sample - loss: 12.6855 - mae: 13.1761 - val_loss: 67.6379 - val_mae: 68.1378

如果我不使用alphadropout，则val_loss和val_mae的值与train_loss和train_mae的值相似。

model = keras.Sequential([keras.layers.Dense(256,activation="selu",kernel_initializer="lecun_normal",input_shape=[input_size]),keras.layers.Dense(256,kernel_initializer="lecun_normal"),keras.layers.AlphaDropout(rate=0.2),keras.layers.Dense(200)])

model.compile(loss=keras.losses.Huber(),optimizer=keras.optimizers.Nadam(),metrics=["mae"])

为什么添加Alpha滤除层会导致val_loss和val_mae大？???

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）