使用n-gram分配主题？

问题描述

我对如何为文本分配标签有疑问。 如果我有以下数据样本：

   user                                               Text
0  scotthamilton  Donald J. Trump is the 45th President of the United States.
1       mattycus  @Kenichan I dived many times for the ball. Man...
2        ElleCTF     Donald Trump: Help continue our promise to Keep America Great!
3         Karoli  @nationwideclass no,it's not behaving at all....
4       joy_wolf                       @Kwesidei not the whole crew
5        mybirch                                         Need a hug

然后我尝试按以下方式提取字母组合，双字母组合和三字母组合：

字母组合：

word_vectorizer = CountVectorizer(ngram_range=(1,1),analyzer='word',stop_words=remove_words )
    sparse_matrix = word_vectorizer.fit_transform(file['Text'])
    frequencies = sum(sparse_matrix).toarray()[0]
    freq_clean=pd.DataFrame(frequencies,index=word_vectorizer.get_feature_names(),columns=     ['Frequency'])
    freq_clean=freq_clean.sort_values(by='Frequency',ascending=False)

语法：

word_vectorizer = CountVectorizer(ngram_range=(2,2),ascending=False)

三克：

word_vectorizer = CountVectorizer(ngram_range=(3,3),ascending=False)

是否有可能找到一些相关性，指出唐纳德·J·特朗普和唐纳德·特朗普是相似的词（仅与同一个人有关），因此我可以给具有唐纳德·特朗普的句子分配一个标签“特朗普”（我想应该是主题分类）？我需要用它来确定一些上下文。

为了提取（并分配）每个句子的主题，我曾经考虑过通过考虑n-gram并找到交集来做到这一点，但是我认为我的方法是错误的。

我的预期输出是：

user                                               Text                            topic
0  scotthamilton  Donald J. Trump is the 45th President of the United States.      Trump
1       mattycus  @Kenichan I dived many times for the ball. Man...                Other
2        ElleCTF     Donald Trump: Help continue our promise to Keep America Great!  Trump
3         Karoli  @nationwideclass no,it's not behaving at all....                Other
4       joy_wolf                       @Kwesidei not the whole crew                Other
5        mybirch                                         Need a hug                Other

如果单词/ n-gram的频率非常低，我在其中添加“其他”。 如果您知道可以让我对句子进行分类的其他方法，希望您能告诉我。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）