问题描述
我正在进行一个主题词嵌入的项目,在该项目中,我需要基于一个词的多重感觉来评估词嵌入的质量。我在一些使用AvgSimC和MaxSimC的研究论文中看到过。根据我的理解,单词的感觉通过使用这两种方法考虑上下文单词来预测。不幸的是,我没有这些拖曳方法的清晰实现概念和源代码。
使用SCWS数据集以及任何类型的文档/教程或任何引用的实现AvgSimC和MaxSimC的源代码(python或c)将受到赞赏。
感谢您的宝贵时间。
解决方法
对于python中的两个词向量word1和word2
def AvgSimC(word1,word2):
cosine_similarity = 1 - spatial.distance.cosine(word1,word1)
return np.mean(cosine_similarity)
def MaxSimC(word1,word1)
return np.max(cosine_similarity)