TfIdfVectorizer 中的特征选择

问题描述

我想使用 TfIdfVectorizer 对两组文档进行分类。但是 TfIdfVectorizer 会根据两个文档中的频率列出单词。例如，在下面的示例中，单词 Tom 和 Jerry 是定义单词，而 max_features 参数检索频繁出现的单词（'hi'、'is'、'my'）。显然，文档差异对于分类很重要，而不是相似之处。那么，如何提取每个文档中的行列式词呢？此外，停用词删除在这种情况下也没有真正的帮助。

from sklearn.feature_extraction.text import TfidfVectorizer
import pandas as pd


corpus = [
    'hi,my name is Tom.','hi,my name is Jerry.'
]

vectorizer = TfidfVectorizer(max_features=3,ngram_range=(1,1))
X = vectorizer.fit_transform(corpus).todense()


df = pd.DataFrame(X,columns=vectorizer.get_feature_names())
df.to_csv('test.csv')

输出：

,hi,is,my
0,0.5773502691896258,0.5773502691896258
1,0.5773502691896258

预期输出：

,jerry,tom
0,0.0,0.5749618667993135
1,0.5749618667993135,0.0

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）