是否可以将特定领域的 word2vec 嵌入和现成的 ELMo 嵌入结合起来用于下游无监督任务?

问题描述

我想知道我是否正确使用了词嵌入。

我将上下文词向量与静态词向量结合起来,因为:

  • 我的领域语料库太小,无法从头开始有效地训练模型
  • 我的域过于专业,无法使用通用嵌入。

我使用了现成的 ELMo 小型模型,并在小型领域特定语料库(大约 500 篇学术论文)上训练了 word2vec 模型。然后我对来自两个不同嵌入的向量进行了简单的串联。

我大致遵循了本文中的方法https://www.aclweb.org/anthology/P19-2041.pdf 但论文中的方法针对特定任务训练嵌入。在我的域中没有标记的训练数据。因此,我只是在语料库上单独训练嵌入。

我是 NLP 新手,如果我问了一个愚蠢的问题,请见谅。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)