主题建模内存错误：包含大量数据时如何执行gensim主题建模

问题描述

我正在讨论一个主题，其中包含大量数据。我正在尝试做我以前做过的LDA和NMF主题建模，但是没有使用我目前正在使用的大量数据。主要问题是在创建模型时不能将所有数据保存在内存中。

我需要模型和相关指标。这是我目前如何制作模型的代码

def make_lda(dictionary,corpus,num_topics):
    passes = 3

    # Make a index to word dictionary.
    temp = dictionary[0]  # This is only to "load" the dictionary.
    id2word = dictionary.id2token

    model = LdaMulticore(
        corpus=corpus,id2word=id2word,passes=passes,num_topics=num_topics
    )
    
    return model

def make_nmf(dictionary,num_topics):
    
    passes = 3

    # Make a index to word dictionary.
    temp = dictionary[0]  # This is only to "load" the dictionary.
    id2word = dictionary.id2token
    
    model = Nmf(
        corpus=corpus,num_topics=num_topics
    )
    
    return model

这是我如何获得一致性度量和其他一些统计数据

def get_model_stats(model,model_type,docs,dictionary,num_topics,verbose=False,get_topics=False):
    if model_type == 'lda':
        top_topics = model.top_topics(texts=docs,dictionary=dictionary,coherence='c_v') #,num_words=20)
    elif model_type == 'nmf':
        top_topics = model.top_topics(corpus=corpus,texts=docs,num_words=20)

    # Average topic coherence is the sum of topic coherences of all topics,divided by the number of topics.
    avg_topic_coherence = sum([t[1] for t in top_topics]) / num_topics
    rstd_atc = np.std([t[1] for t in top_topics]) / avg_topic_coherence
  
    if verbose:
        print('Average topic coherence: ',avg_topic_coherence)
        print('Relative Standard Deviation of ATC: ',rstd_atc)
    
    if get_topics:
        return avg_topic_coherence,rstd_atc,top_topics
    
    return avg_topic_coherence,rstd_atc

如您所见，我需要在不同时间（有时是同时在内存中）存储字典，文本，语料库和id2token对象。但是我不能这样做，因为诸如我的文字之类的东西会占用大量内存。我的机器还不够。

我知道我可以为拥有疯狂RAM数量的虚拟机买单，但是我想知道是否有更好的解决方案。我可以将所有数据存储在磁盘上。如果数据不在内存中，是否可以运行这些模型？还有其他不让我的内存超负荷的解决方案吗？

解决方法

您可以使用一些细微的调整，这些调整可能不会产生太大的变化（例如，将列表理解更改为生成器-例如，在进行总结时），但这是一个节省内存的常规提示，因此我认为值得一提它。

您可以得到的显着差异是，在Dictionary上使用一些更积极的修剪。默认参数为prune_at=200000。如果您有大量文档，则可能需要将阈值降低到较低的值。

另一件事是对已创建的字典应用filter_extremes函数，以删除不太可能对结果产生影响的单词。在这里，您可以再次更积极地设置参数：

no_below –保留至少包含在no_below中的令牌 文档。

no_above –保留包含在no_above中的令牌 文档（总语料库大小的分数，而不是绝对数字）。

keep_n –仅保留前keep_n个最频繁的令牌。

最重要的是，您可能不时要一次调用garbage collector（例如，在运行make_nmf函数之前）：

import gc
gc.collect()

并且请确保不要并行运行make_nmf和make_lda（您可能没有这样做，但我想突出显示它，因为我们看不到您的完整代码）。

调整这些值可以帮助您减少所需的内存占用并维持最佳模型。

,

您没有显示corpus（或docs / texts）的创建方式，但是Gensim要记住的最重要的一点是，整个训练集基本上从没有立刻进入内存（就像一个巨大的list）。

相反，您可以（对于内存可能是问题的任何大型语料库，应该）将其提供为可重复的Python序列，仅读取单个项目从基础存储请求。使用Python generator 通常是这种方法的关键部分（但不是全部）。

Gensim软件包的原始创建者有一篇博客文章，内容涉及基础知识：“ Data streaming in Python: generators,iterators,iterables”