MultiheadAttention 的可学习参数数量

问题描述

在测试时（使用 PyTorch 的 MultiheadAttention），我注意到增加或减少多头注意力的头数不会改变我模型的可学习参数的总数。

这种行为是否正确？如果是这样，为什么？

head 的数量不应该影响模型可以学习的参数数量吗？

解决方法

多头注意力的标准实现将模型的维度除以注意力头的数量。

具有单个注意力头的 d 维度模型会将嵌入投影到 d 维查询、键和值张量的单个三元组（每个投影计算 d² 个参数，不包括偏差，总共 3d²).

具有 k 个注意力头的相同维度模型会将嵌入投射到 k 个 d/k 维查询、键和值张量（每个投影计数 d×d/k=d²/k 参数，不包括偏差，总共 3kd²/k=3d²).

---

参考文献：

来自原始论文：

您引用的 Pytorch 实现：