问题描述
我正在测试以相同的整体词汇量喂养gensim的Word2Vec不同的句子，以查看某些句子是否比其他句子携带“更好”的信息。我训练Word2Vec的方法是这样的
def encode_sentences(self,w2v_params,sentences):
model = Word2Vec(sentences,**w2v_params)
idx_order = torch.tensor([int(i) for i in model.wv.index2entity],dtype=torch.long)
X = torch.zeros((idx_order.max()+1,w2v_params['size']),dtype=torch.float)
# Put embeddings back in order
X[idx_order] = torch.tensor(model.wv.vectors)
return X,y
我希望在这里是w2v每次运行时，它都从一个新模型开始并从头开始训练。但是，我正在测试3种句子，因此我的测试代码如下：
def test(sentence):
w2v = {'size': 128,'sg': 1}
X = encode_sentences(w2v,sentence)
evaluate(X) # Basic cluster analysis stuff here
# s1,s2 and s3 are the 3 sets of sentences with the same vocabulary in different order/frequency
[print(test(s) for s in [s1,s2,s3]]
但是，我注意到如果删除其中一个测试集，并且仅测试s1和s2（或三个集合中的两个集合的任意组合），则群集的总体质量会下降。如果我回到encode_sentences并在del model调用之前添加return，则无论测试了多少数据集，总体群集质量都会下降，但保持一致。
有什么作用？构造函数实际上不是每次都使用新的权重来构建新模型吗？文档和源代码没有对此进行说明。我非常确定这不是我的评估方法，因为在添加del model之后，所有问题都已解决。我在这里茫然不知...这些运行实际上是独立的，还是每次调用Word2Vec(foo,...)都等同于用foo作为新数据来重新训练以前的模型？
在您问之前，没有model在encode_sentence变量范围之外；这是在整个程序中唯一使用变量名的时间。很奇怪。
编辑更多详细信息
如果重要的话，我将使用Word2Vec在节点上构建节点嵌入，就像Node2Vec在不同的行走策略中所做的那样。然后将这些嵌入信息馈送到Logistic回归模型（evaluate(X)）中，该模型可计算roc下的面积。
在将del model调用添加到encode_sentences方法中之后，以下是模型的一些示例输出：对5个试验进行了平均：
Random walks: 0.9153 (+/-) 0.002
Policy walks: 0.9125 (+/-) 0.005
E-greedy walks: 0.8489 (+/-) 0.011
以下是相同的输出，唯一的区别是编码方法中的del model：
Random walks: 0.8627 (+/-) 0.005
Policy walks: 0.8527 (+/-) 0.002
E-greedy walks: 0.8385 (+/-) 0.009
如您所见，在每种情况下，方差都非常低（+/-值是标准误差），但是两次运行之间的差异几乎是整个标准差。如果每次对Word2Vec的调用都是真正独立的，那么手动释放数据结构会产生如此大的影响似乎很奇怪。
解决方法
每次调用Word2Vec()构造函数都会创建一个全新的模型。
但是，对于variety of reasons，运行在正常条件下不是完全确定的，因此下游评估（如未显示的聚类）的结果质量会在每次运行之间产生抖动。
如果使用相同数据的重复运行的方差很大，则可能还有其他问题，例如模型过大，容易过度拟合。 （运行之间的稳定性可能是一个指标，表明您的过程已充分指定，数据和模型选择是驱动结果，而不是算法使用的随机性。）
如果这种解释不令人满意，请尝试在问题中添加更多信息-例如，您的评估分数的实际大小，在反复运行中，无论您猜想的变化是否影响结果。 （我怀疑您认为有效的步骤所产生的变化不会大于重新运行所产生的变化或具有不同的seed值。）
（更一般地说，Word2Vec通常渴望获得尽可能多的变化的训练数据；仅当文本不代表相关领域时，它们才可能导致更糟的情况。因此，通常我不希望选择哪个句子的子集最好成为一种重要的技巧，除非某些句子完全是垃圾/杂音，但是当然总会有一个变化，您会在自己的模型中发现一些影响特定的数据/目标。）