自我注意对输入大小敏感吗？

问题描述

我有一个层次模型，其中使用自我关注（来自Transformer）对句子中的每个单词进行编码，然后使用另一个自我关注块将每个句子表示（由上一个块输出）编码为最终表示。每个训练示例包含20个句子。但是，我注意到，当我在较小的句子集（例如6个句子，其余的句子都被屏蔽）上进行测试时，它的性能要比对6个句子集进行训练的模型差。我发现这个结果有些令人惊讶，我想知道其他人是否经历过这样的事情。如果是这样，您是否发现了发生这种情况的原因，以及如何使模型对输入大小更可靠？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）