pyLDAvis对NLP主题建模以可视化结果，但由于归一化分布的总和不等于1而出现错误

问题描述

我正在尝试使用pyLDAvis可视化数据块上的LDA结果。

环境：

Spark NLP version:  2.5.5
Apache Spark version:  2.4.5

我得到了错误：

ValidationError: 
* Not all rows (distributions) in topic_term_dists sum to 1.

来自代码：

pyLDAvis.prepare(**data)

数据有两个数组：

data['doc_topic_dists'],data['doc_lengths']

我在https://github.com/bmabey/pyLDAvis/blob/master/pyLDAvis/_prepare.py使用了与PyLDAvis的源代码相同的功能

def __num_dist_rows__(array,ndigits=2):
   return array.shape[0] - int((pd.DataFrame(array).sum(axis=1) < 0.999).sum())

确保所有行的总和为1。

但是，我仍然遇到错误。

我发现该错误仅在其大小较大时弹出。当前，它是900多行。

如果有300多行，则没有错误。

pyLDAvis: Validation error on trying to visualize topics的解决方案 和pyLDAvis visualization of pyspark generated LDA model

不起作用。

有人可以帮我吗？

谢谢

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）