为什么 Python 占用这么多内存？

编程问答 2022-05-17

问题描述

我正在处理一个大小为 467KB 的文本文件。我有这个代码。

@profile
def parse_sentences(paragraph):
    all_sentences_paragraph = {}
    nlp.max_length = len(paragraph['text'])
    doc = nlp(paragraph['text'])
    allSentences = []
    tempSentences = list(doc.sents)
    allSentences = list(process_sentence(tempSentences))
    all_sentences_paragraph[paragraph['pid']] = allSentences
    paragraph['text'] = ""
    return paragraph['pid'],allSentences


@profile
def process_sentence(tempSentences):
    for sentence in tempSentences:
        tempSentenceJson = {
            "text": "","tags": {},}
        if sentence:
            tempSentenceJson['text'] = str(sentence)
            tempSentenceJson['sid'] = uuid.uuid4().hex
            yield tempSentenceJson
        else:
            tempSentenceJson['sid'] = uuid.uuid4().hex
            yield tempSentenceJson

这条线被调用了 8561 次。

allSentences = list(process_sentence(tempSentences))

现在是这个函数的概要。

enter image description here

enter image description here

现在我的问题是，为什么一个 467KB 的文件要占用这么多空间。我该如何解决这个问题？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

memorymemory-managementpython