问题描述
当滚动 PyTorch 包 (here) 上可用的所有激活函数时，我发现 nn.MultiheadAttention 被描述在那里。你能解释一下为什么它被认为是激活函数吗？也许我理解错了，但是多头注意力有它自己的可学习权重，所以它似乎更适合层，而不是激活函数。能否请您纠正我，并提供一些我没有得到的见解。
谢谢！
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）
