神经网络：在这种情况下参数更新的顺序是什么？

问题描述

输入：x,target

网络：

P = torch.ones(x.shape)
gamma = 1
mask = W*x + b1 
mask_x = mask*x
y = mask_x*P
y = W2*x + b2
P = (gamma - mask_x)*P
loss = CrossEntropy(y,target)

在这种情况下，参数P如何更新？我似乎在向后损耗的情况下，P将按梯度进行更新，但是，在这里，我也将P更新为P = (gamma - mask_x)*P。我对参数更新的顺序感到困惑。

例如 哪个是正确的？

P = P + lr*grad_p
mask_x = mask_x + lr*grad_m
P = (gamma -mask_x)*P

或

P = (gamma -mask_x)*P
P = P + lr*grad_p
mask_x = mask_x + lr*grad_m

grad_m和grad_p分别是参数mask_x和P的梯度。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）