问题描述
我对 Keras 文档 https://keras.io/api/layers/attention_layers/multi_head_attention/ 中的 MultiHeadAttention 层文档中提到的查询和键张量的维度感到困惑{{3}}
query：查询形状（B、T、dim）张量
value：形状（B、S、暗淡）的值张量。
这里我假设 T 和 S 对应于模型中输入的单词序列，它们应该相同，那么为什么它们不相等？
解决方法
当查询和键值对具有不同的序列输入维度时，这很有用。
这种情况可能出现在 MultiHeadAttention() 中的第二个 Decoder 注意层的情况下。这将有所不同，因为该层的 K(key) 和 V(value) 的输入将来自 Encoder()，而 Q(query) 将来自第一个 MultiHeadAttention() 层Decoder。
