来自nltk模块的类似方法在不同的机器上产生不同的结果为什么?

问题描述

在您的示例中,有40个其他单词与该单词 具有 共同点'monstrous'。在该similar函数中,使用一个Counter对象对上下文相似的单词进行计数,然后打印最常见的单词(认为20)。由于所有40个频率相同,因此顺序可以不同。

文档Counter.most_common

相等计数的元素可以任意排序


我用以下代码检查了类似单词的出现频率(该代码实质上是功能代码相关部分的副本):

from nltk.book import *
from nltk.util import tokenwrap
from nltk.compat import Counter

word = 'monstrous'
num = 20

text1.similar(word)

wci = text1._word_context_index._word_to_contexts

if word in wci.conditions():
            contexts = set(wci[word])
            fd = Counter(w for w in wci.conditions() for c in wci[w]
                          if c in contexts and not w == word)
            words = [w for w, _ in fd.most_common(num)]
            # print(tokenwrap(words))

print(fd)
print(len(fd))
print(fd.most_common(num))

输出:(不同的运行给我不同的输出

Counter({'doleful': 1, 'curIoUs': 1, 'delightfully': 1, 'careful': 1, 'uncommon': 1, 'mean': 1, 'perilous': 1, 'fearless': 1, 'imperial': 1, 'christian': 1, 'trustworthy': 1, 'untoward': 1, 'maddens': 1, 'true': 1, 'contemptible': 1, 'subtly': 1, 'wise': 1, 'lamentable': 1, 'tyrannical': 1, 'puzzled': 1, 'vexatIoUs': 1, 'part': 1, 'gamesome': 1, 'determined': 1, 'reliable': 1, 'lazy': 1, 'passing': 1, 'modifies': 1, 'few': 1, 'horrible': 1, 'candid': 1, 'exasperate': 1, 'pitiable': 1, 'abundant': 1, 'mystifying': 1, 'mouldy': 1, 'loving': 1, 'domineering': 1, 'impalpable': 1, 'singular': 1})

解决方法

我教过一些入门课程,介绍如何使用Python进行文本挖掘,并且该课程使用提供的练习文本尝试了类似的方法。有些学生对text1.similar()的结果与其他人不同。

所有版本等均相同。

有谁知道为什么会出现这些差异?谢谢。

在命令行使用的代码。

python
>>> import nltk
>>> nltk.download() #here you use the pop-up window to download texts
>>> from nltk.book import *
*** Introductory Examples for the NLTK Book ***
Loading text1,...,text9 and sent1,sent9
Type the name of the text or sentence to view it.
Type: 'texts()' or 'sents()' to list the materials.
text1: Moby Dick by Herman Melville 1851
text2: Sense and Sensibility by Jane Austen 1811
text3: The Book of Genesis
text4: Inaugural Address Corpus
text5: Chat Corpus
text6: Monty Python and the Holy Grail
text7: Wall Street Journal
text8: Personals Corpus
text9: The Man Who Was Thursday by G . K . Chesterton 1908
>>>>>> text1.similar("monstrous")
mean part maddens doleful gamesome subtly uncommon careful untoward
exasperate loving passing mouldy christian few true mystifying
imperial modifies contemptible
>>> text2.similar("monstrous")
very heartily so exceedingly remarkably as vast a great amazingly
extremely good sweet

通过类似方法返回的那些术语列表因用户而异,它们具有许多共同的词,但它们不是相同的列表。所有用户都使用相同的操作系统以及相同版本的python和nltk。

我希望这使问题更清楚。谢谢。