Keras L2正则化使网络无法学习

问题描述

我正在尝试为MNIST数据集训练一个简单的模型。一个隐藏的层由36个神经元组成。

NUM_CLASSES = 10
BATCH_SIZE = 128
EPOCHS = 100

model = models.Sequential([
    layers.Input(shape = x_train.shape[1:]),layers.Dense(units = 36,activation = activations.sigmoid,kernel_regularizer = regularizers.l2(0.0001)),layers.Dropout(0.5),layers.Dense(units = NUM_CLASSES,activation = activations.softmax)
])

model.summary()

model.compile(loss      = losses.CategoricalCrossentropy(),optimizer = optimizers.RMSprop(),metrics   = ['accuracy'])

history = model.fit(x_train,y_train,batch_size = BATCH_SIZE,epochs = EPOCHS,verbose = 2,validation_data = (x_val,y_val))

没有l2部分，一切正常，但是一旦我尝试使用正则化，所有内容都会横摆，并且准确度始终保持在10％：

Epoch 1/300
391/391 - 1s - loss: 2.4411 - accuracy: 0.0990 - val_loss: 2.3027 - val_accuracy: 0.1064

Epoch 2/300
391/391 - 0s - loss: 2.3374 - accuracy: 0.1007 - val_loss: 2.3031 - val_accuracy: 0.1064

Epoch 3/300
391/391 - 0s - loss: 2.3178 - accuracy: 0.1016 - val_loss: 2.3041 - val_accuracy: 0.1064

Epoch 4/300
391/391 - 0s - loss: 2.3089 - accuracy: 0.1045 - val_loss: 2.3026 - val_accuracy: 0.1064

Epoch 5/300
391/391 - 0s - loss: 2.3051 - accuracy: 0.1060 - val_loss: 2.3030 - val_accuracy: 0.1064

当我手动给regularizers.l2作为参数时，以及当我给"l2"作为参数时，都会发生这种情况。

为什么会发生这种情况，我在做什么错呢？

解决方法

我怀疑具有高.5的辍学率，添加正则化将阻止网络学习。辍学和正则化都是防止过度拟合的一种手段。尝试使用较低的辍学率进行正则化，看看网络是否训练正确。到目前为止，我的经验是，辍学比正则化方法更有效地控制拟合。