在第一个时期后,训练误差大幅度下降

问题描述

我正在训练LSTM自动编码器,以重新创建由八个功能(0到1之间的浮点数)组成的输入。目前,我正在使用两个窗口大小,并且正在为50个时期训练模型。但是,在训练网络时,我观察到训练误差(均方误差)在第一个时期之后显着下降。例如,在第一个时期,训练误差为17.25。它在下一个下降至1.8,并在第七个时期后停滞不前。我想知道是否可能是由于随机初始化权重引起的,所以我又训练了一个网络并重复了相同的现象。

在第一个时期之后,我无法推断出训练错误大幅下降的原因,我们将不胜感激。我已经附上了训练误差图和模型信息,以供参考。

型号信息:

LSTM_AutoencoderModel( (编码器):编码器( (lstm1):LSTM(16,64) (lstm2):LSTM(64,16) ) (解码器):解码器( (lstm1):LSTM(16,64) (lin1):线性(in_features = 64,out_features = 16,bias = True) ) )

Training error graph

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)