Apache pyspark 删除停用词并计算

问题描述

我有以下 .csv 文件（ID、书名、书名、作者等）：

在删除停用词后，我想从文章的标题（第 2 列）（n=4）计算所有 n 组合（从每个标题我想要所有 4 个词的组合）。

>

我已经创建了数据框：

df_hdfs = sc.read.option('delimiter',',').option('header','true')\.csv("/user/articles.csv")

我创建了一个带有标题列的 rdd：

rdd = df_hdfs.rdd.map(lambda x: (x[1]))

看起来像这样：

现在，我意识到我必须将 RDD 的每个字符串标记为单词，然后删除停用词。我需要一些关于如何执行此操作以及如何计算组合的帮助。

谢谢。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）