如何组合从 Word2vec、GLOVE、BERT 等不同算法生成的不同嵌入?

问题描述

我想知道将我从不同算法(如 word2vec、glove 或 BERT)生成的不同嵌入组合以生成最终嵌入的最佳方法

解决方法

组合来自多个生成方法的向量的一种简单方法是连接它们。也就是说,如果您通过一种方法获得了单词 {​​{1}} 的 300 维向量,以及来自另一种方法的该词的另一个 300 维向量,请将两者连接成一个 600 维向量。

但是,你为什么要这样做?你确定那会有帮助吗?在将其作为常规做法之前,您绝对应该在小型试验中测试这些额外步骤是否值得复杂化。

例如,Word2vec 和 Glove 的模型非常相似 - 您可能会发现花费更多时间将一种方法调整为更大的向量比尝试混合在一起更简单,同样好或更好。