L2 正则化的最佳实践？

问题描述

我在 Keras 中有以下架构：

    model = Sequential()  
    # Input shape of LSTM (layer 0) is (batch_size,time_steps,num_of_features)
    model.add(LSTM(HIDDEN_NODES,input_shape=(TS,NB),return_sequences=False))
    model.add(Dense(HIDDEN_NODES,activation='relu'))
    model.add(Dense(HIDDEN_NODES,activation='relu'))
    model.add(Dense(OP,activation='linear'))

    # Error
    model.compile(loss=tf.keras.losses.Huber(delta=1.0),optimizer=Adam(lr=LEARNING_RATE,clipnorm=1))

如您所见，我正在使用 LSTM 和梯度裁剪。我的问题是是否存在良好的实践手册或关于如何使用正则化的一些直觉。据我所知，大多数作品在我的问题中使用 L2 正则化，但不知道如何应用它。无论如何，我很确定过度拟合是一个问题。我的架构和 L2 正则化之间是否存在冲突？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）