Keras 模型训练精度在训练时急剧下降

问题描述

我正在使用 Keras 训练基于深度 CNN 的神经网络，并且在训练到第 16 个时期时的准确度为 90%。它在第 17 个时期大幅下降到 40%，然后在下一个时期下降到 3%，并保持不变，直到训练结束。可能是什么原因造成的？

这是我的模型架构：

## input layer
input_layer = Input((S,S,L,1))

## convolutional layers
conv_layer1 = Conv3D(filters=8,kernel_size=(3,3,7),activation='relu',padding = 'same')(input_layer)
conv_layer2 = Conv3D(filters=16,5),padding = 'same')(conv_layer1)
conv_layer3 = Conv3D(filters=32,3),padding = 'same')(conv_layer2)
print(conv_layer3._keras_shape)
conv3d_shape = conv_layer3._keras_shape
conv_layer3 = Reshape((conv3d_shape[1],conv3d_shape[2],conv3d_shape[3]*conv3d_shape[4]))(conv_layer3)
conv_layer4 = Conv2D(filters=64,activation='relu')(conv_layer3)

flatten_layer = Flatten()(conv_layer4)

## fully connected layers
dense_layer1 = Dense(units=256,activation='relu')(flatten_layer)
dense_layer1 = Dropout(0.4)(dense_layer1)
dense_layer2 = Dense(units=128,activation='relu')(dense_layer1)
dense_layer2 = Dropout(0.4)(dense_layer2)
output_layer = Dense(units=output_units,activation='softmax')(dense_layer2)

我将添加培训的截图：

training-screenshot

对此，我有两个问题：

1. 发生这种情况的可能原因是什么？
2. 我怀疑信息可能不正确。我已经设置了一个检查点，所以只会保存最好的权重。训练模型大约需要 16 个小时。有没有办法在检查点仍然存在的情况下仍然可以获得最后一个时期的训练权重，即不是最好的权重？

解决方法

1. 你在第 17 个纪元的损失是 nan
2. 除了从保存的权重中加载之外，不可能恢复权重