问题描述
我正在尝试添加一种注意机制，以从 BERT 编码器获得最后隐藏状态的加权平均值，而不仅仅是使用平均池化。我有一个大小为 [n_words * 维] 的句子矩阵，我想将其减少到 [1 * 维]。
我不知道我应该在哪里或如何添加注意力层以及如何训练该层以获取权重参数。请帮忙。
我正在使用 HuggingFace 模型在 STS 基准数据集上训练/微调我的 BERT。
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）
