问题描述
我想在培训过程中切换优化器 从LBFGS到Adam。 下面是我编写的代码。
optimizer = optim.LBFGS(model.parameters(),lr=0.003)
Use_Adam_optim_FirstTime=True
Use_LBFGS_optim=True
for epoch in range(30000):
loss_SUM = 0
for i,(x,t) in enumerate(GridLoader):
x = x.to(device)
t = t.to(device)
if Use_LBFGS_optim:
def closure():
optimizer.zero_grad()
lg,lb,li = problem_formulation(x,t,x_Array,t_Array,bndry,pi)
loss_total=lg+ lb+ li
loss_total.backward(retain_graph=True)
return loss_total
loss_out=optimizer.step(closure)
loss_SUM+=loss_out.item()
elif Use_Adam_optim_FirstTime:
Use_Adam_optim_FirstTime=False
optimizerAdam = optim.Adam(model.parameters(),lr=0.0003)
model.load_state_dict(checkpoint['model'])
optimizerAdam.zero_grad()
lg,pi)
lg.backward()
lb.backward()
li.backward()
optimizerAdam.step()
loss_SUM += lg.item()+lb.item()+li.item()
else:
optimizerAdam.zero_grad()
lg,pi)
lg.backward()
lb.backward()
li.backward()
optimizerAdam.step()
loss_SUM += lg.item()+lb.item()+li.item()
if loss_SUM<.3 and use_LBFGS_optim == True:
Use_LBFGS_optim=False
checkpoint = {'model': model.state_dict(),'optimizer': optimizer.state_dict()}
我的问题是:
(2)有没有一种方法可以使我在闭包函数中倒退三个而不是一个?
(3)为什么需要在关闭函数的loss_total.backward(retain_graph = True)中将keep_graph设置为True
(4)有时,关闭函数的loss_SUM接近1e + 29。有办法避免这个问题吗?
#-----------------------------
关于从LBFGS到Adam的切换:
(5)当loss_SUM
一般来说,以上代码有什么问题,我该如何改进?
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)