问题描述
我有一个包含约 50k 个短文本的数据集，每个文本平均有 9 个标记。它们包含大量不常见的标记（'nw'、'29203822'、'x989' 等）以及常规单词，我相信这些会降低我的分类工作。我想生成一个最常见的 n-gram 的停用词列表，这些 n-gram 不提供任何价值并删除它们。我认为最好的方法是在我的 Count Vectorizer 之后但在我的 TF-IDF 之前获得这些计数。
count_vect = CountVectorizer(ngram_range=(1,4))
X_train_counts = count_vect.fit_transform(X_train)
X_train_counts.shape
(19859,122567)
count_vect.vocabulary_
{'look': 66431,'1466': 1827,'cl sign': 23055,'in': 56587,...}
我没有看到任何用于输出数据集中这些 ngram 的频率的函数。有没有？谢谢！
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）