python的TfidfVectorizer使用什么tf-idf公式

问题描述

我有以下实现：

from sklearn.feature_extraction.text import TfidfVectorizer
import pandas as pd
vectorizer = TfidfVectorizer(
        lowercase = True,stop_words = 'english')
    X = vectorizer.fit_transform([corpus])
    df = pd.DataFrame(X.toarray(),columns=vectorizer.get_feature_names())
    df = df.sort_values(by=0,axis=1,ascending=False)
    df = df.iloc[:,0:100]
    top_n = df.to_dict(orient='list')
    for item in top_n:
        top_n[item] = round(top_n[item][0],2)

输入以下文本会产生以下结果：

我叫AAA，你是我儿子

{'my': 0.63,'are': 0.32,'is': 0.32,'AAA': 0.32,'name': 0.32,'son': 0.32,'you': 0.32}

我不确定使用什么公式来计算这个排名。单词 my 的词频为 2/8。由于只有一个文档，因此 idf 部分不应有任何影响。那么0.63是如何计算的？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

tf-idf tfidfvectorizer