问题描述
我正在使用 Gensim 构建一个包含 1000 个文档的 doc2vec 模型。 每个文档由多个句子组成，其中包含多个单词。
示例）
Doc1: [[word1,word2,word3],[word4,word5,word6,word7],[word8,word9,word10]]
Doc2: [[word7,word3,word1,word2],[word1,word10]]
最初，为了训练 doc2vec，我首先拆分句子并使用“TaggedDocument”用相同的文档标签标记每个句子。结果，我得到了 doc2vec 的最终训练输入如下：
TaggedDocument(words=[word1,tags=['Doc1'])
TaggedDocument(words=[word4,tags=['Doc1'])
TaggedDocument(words=[word8,word10],tags=['Doc1'])
TaggedDocument(words=[word7,tags=['Doc2'])
TaggedDocument(words=[word1,tags=['Doc2'])
但是，将文档作为一个整体来训练模型而不拆分句子是否可以？
TaggedDocument(words=[word1,word4,word7,word8,tags=['Doc2'])
先谢谢你:)
解决方法
这两种方法的效果非常相似。
略有不同的是，在 PV-DM 模式（dm=1），或添加了 skip-gram 训练的 PV-DBOW（dm=0,dbow_words=1）中，如果按句子拆分，不同句子中的单词将永远不要在同一个上下文窗口内。
例如，您的 'Doc1' 词 'word3' 和 'word4' 永远不会在同一个 PV-DM 上下文窗口平均中被平均在一起，也不会被用于 PV-DBOW 跳过-gram 相互预测，如果您按句子拆分。如果您只是将整个文档的单词放在一个 TaggedDocument 示例中，它们会通过出现在共享上下文窗口中进行更多交互。
哪一个更适合您的目的是您必须在自己的分析中评估的东西 - 这在很大程度上取决于数据的性质和所需的相似性结果。
但是，我可以说您的第二个选项，即一个 TaggedDocument 中的所有单词，是更常见/传统的方法。
（也就是说，只要文档的长度仍然不超过 10,000 个标记。如果更长，将文档的单词拆分为多个 TaggedDocument 实例，每个实例具有相同的 tags，是一种常见的内部 10,000 个令牌实施限制的解决方法。）