为什么第二次编译后损失会增加？

编程问答 2022-04-22

问题描述

我目前正在开展一个项目，该项目要求我在使用 Tensorflow 进行训练期间更改模型架构。 添加了新的权重，并删除了其他权重。模型需要重新编译，以便优化器识别新的权重并为它们计算梯度。

但是我注意到，在编译网络后，损失只会在再次下降后上升（参见here） 在编译后的第一步中，损失仍然和以前一样低，但增加得很快。 This 问题与我的相似，但只是说你应该

使用上次训练的列表（手动或从回调获得）初始化第二次训练验证精度。

但是我找不到有关如何执行此操作的任何资源。 我的尝试包括：

  • 使用 SGD 而不是 Adam，因为它不应该依赖于之前的状态
  • 添加上一次 for (i = 0; i < thisQuarter.length; i++) { if (thisQuarter[i][0] == "Yes" { // send email } } 调用的历史记录
  • 将 function getTokenPrice(address pairAddress,uint amount) public view returns(uint) { IPancakeswapV2Pair pair = IPancakeswapV2Pair(pairAddress); IBEP20 token1 = IBEP20(pair.token1()); (uint Res0,uint Res1,) = pair.getReserves(); // decimals uint res0 = Res0*(10**token1.decimals()); return((amount*res0)/Res1); // return amount of token0 needed to buy token1 } 设置为它在上一次调用中执行的 epoch 数
  • 以上所有组合

我使用 https://www.tensorflow.org/datasets/keras_example 中的修改示例重新创建了该问题，并增加了网络复杂性，因为尖峰的高度似乎随着网络规模的增加而增加：

model.fit()

This 是结果图。 在这个例子中，我没有改变网络，而是使用不同的优化器编译，无论你选择哪种组合，我都会测试损失峰值。 （如果你在不改变模型的情况下使用 model.optimizer 进行编译，损失不会增加，这让我觉得我必须改变优化器。但 SGD 也不起作用，这让我感到困惑）

这与在使用另一个 model._train_counter 调用恢复后恢复模型训练相同。

我使用的是 Tensorflow 2.5.0 版

关于如何解决或解决此问题的任何想法？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

keraskeraspythonresuming-trainingtensorflowtensorflowtensorflow