问题描述
我们有一个自定义torch.autograd.Function z(x,t)，它以不适合指导自动微分的方式计算输出y，并且已经针对其输入{ {1}}和x，因此我们可以实现t方法。
但是，该操作涉及对神经网络的多个内部调用，我们现已将其实现为backward个对象的堆栈，这些对象包装在torch.nn.Linear（一个net）中。在数学上，这些参数由torch.nn.Module参数化。
有没有办法让t本身成为net的{{1}}方法的输入？然后，我们将从forward返回上游梯度z和参数Jacobia backward的乘积列表，其中每个参数Dy都是{的子元素{1}}（除了dydt_i之外，尽管x是数据并且不需要梯度累积）。
还是我们真的需要采取ti（实际上是一个单独的net的列表），并在Dy*dydx中内部重构其中所有t层的动作t_i？
解决方法
我想您可以创建一个自定义仿函数，该仿函数继承torch.autograd.Function并使forward和backward方法为非静态（即，删除{{3}中的@staticmethod }，这样net可能是您函子的一个属性。看起来像
class MyFunctor(torch.nn.autograd.Function):
def __init(net):
self.net = net
def forward(ctx,x,t):
#store x and t in ctx in the way you find useful
# not sure how t is involved here
return self.net(x)
def backward(ctx,grad):
# do your backward stuff
net = nn.Sequential(nn.Linear(...),...)
z = MyFunctor(net)
y = z(x,t)
这将产生警告，说明您正在使用不推荐使用的旧方法来创建autograd函数（由于使用非静态方法），并且在反向传播之后，您需要格外小心，将net中的梯度归零。因此，这并不是很方便，但是我不知道有什么更好的方法来实现有状态的autograd功能。