如何从 RDD 集合中制作单个 RDD

问题描述

我有一个 IndexedSeq[RDD[Int]] 我想用它制作一个单一的 RDD。

以下是使用的文件

1 2 3 4 5
6 7 a 8 9
10 11 12 b c
21 22 23 a b
24 25 26 27 28
29 30 c d e

这是我获取 IndexedSeq 的代码：

val rdd = sc.textFile("src/main/resources/bbbbb.txt")
val rdd2 = rdd.map{row =>
  val str = row.replaceAll("[a-zA-Z]+","0")
  str.split(" ").map(_.toInt)
}    
val indexes = rdd2.first().length
val rdd3 = for {
  n <- 0 until indexes-1
  r = rdd2.map(arr => arr(n)+arr(n+1))
} yield r

我正在尝试按如下方式制作相邻列总和的 RDD：

3,13,21,43,49,59
5,7,23,45,51,30
7,8,12,53,0
9,17,55,0

感谢任何帮助。

提前致谢。

PS：使用 Dataframe 完成。尝试使用 RDD 解决它。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）