nlp – 潜在Dirichlet分配与文档聚类之间的关系

我想澄清潜在的Dirichlet分配(LDA)与文档聚类的通用任务之间的关系.

LDA分析倾向于输出每个文档的主题比例.如果我的理解是正确的,这不是文档聚类的直接结果.但是,我们可以将此概率比例视为每个文档的特征代表.之后,我们可以根据LDA分析生成的特征配置调用其他已建立的聚类方法.

我的理解是否正确?谢谢.

解决方法

是的,您可以将LDA的输出视为文档的功能;这正是Blei,Ng和Jordan在 paper that introduced LDA中所做的事情.他们这样做是为了分类,但对于聚类来说,程序是一样的.

(在机器学习术语中,LDA的这种使用被称为维数减少,因为它将特征空间的维数从| V |,词汇量大小减少到用户选择的某些k个主题.)

相关文章

python方向·数据分析   ·自然语言处理nlp   案例:中...
原文地址http://blog.sina.com.cn/s/blog_574a437f01019poo....
ptb数据集是语言模型学习中应用最广泛的数据集,常用该数据集...
 Newtonsoft.JsonNewtonsoft.Json是.Net平台操作Json的工具...
NLP(NaturalLanguageProcessing)自然语言处理是人工智能的一...
做一个中文文本分类任务,首先要做的是文本的预处理,对文本...