如何通过参数更改在 PyTorch 中恢复优化器

问题描述

我有一个有 4 个头的神经网络,我想在 PyTorch 中一个一个地训练它。

训练 1 个头后,我保存网络,然后我想恢复模型,更改已训练头的 requires_grad 并开始训练下一个头,但出现此错误: ValueError: 加载状态字典包含一个与优化器组大小不匹配的参数组

即使在加载模型后更改了 requires_grad,我也会收到同样的错误

如果我不对 requires_grad 进行任何更改,我不会收到任何错误。这意味着简历工作正常。

当我加载优化器时出现问题。该模型可以毫无问题地加载。

请注意,网络结构永远不会随时间变化。切换的是某些层的可训练性。

我该如何解决这个问题?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)