问题描述
我正在尝试使用 MultiHeadAttention 将一系列图像嵌入编码为一个更大的嵌入。 （顺序无关紧要）
我想要一个类似于将形状为 (batch_size,sequence_length,embedding_dim) 的序列传递给 LSTM 层并将最后的 hidden_state 作为嵌入保存有关该序列的所有重要信息的操作......或者我们可以说是序列嵌入。
我想通过注意力来消除反复出现的行为..
# embeddings: shape(batch_size,embedding_dim)
multihead_attn = nn.MultiheadAttention(embedding_dim,num_heads)
attn_output,attn_output_weights = multihead_attn(embeddings,embeddings,embeddings)
但在这种情况下，注意力输出的形状也将是 (batch_size,embedding_dim)。
我应该做什么
attn_output = attn_output.mean(1)
或者，如果我将查询作为 embeddings.mean(1) 传递，那会产生预期的行为吗？输出会模拟序列嵌入吗？
# embeddings: shape(batch_size,num_heads)
seq_emb,attn_output_weights = multihead_attn(embeddings.mean(1),embeddings)
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）