删除 RDD 中的停用词，Pyspark

问题描述

我有一个包含从文本文件中读取的文本的 RDD。我想删除文本文件中的所有停用词。有一个 pyspark.ml.feature.StopWordsRemover 它在 Dataframe 上执行相同的功能，但我想在 RDD 上执行此操作。有办法吗？

步骤：

txt = sc.textFile('/Path') 
txt.collect()  

输出：

["23890098\tShlykov,a hard-working taxi driver and Lyosha"]

我想删除 txt RDD 中存在的所有停用词。 所需的输出：

["23890098\tShlykov,hard-working taxi driver Lyosha"]

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）