pyspark中aggregate(0, lambda,lambda)的用法

问题描述

有一个pyspark代码段

seqOp = (lambda x,y: x+y)
sum_temp = df.rdd.map(lambda x: len(x.timestamp)).aggregate(0,seqOp,seqOp)

sum_temp 的输出是一个数值。但我不清楚 aggregate(0,seqOp) 是如何工作的。在我看来，通常情况下，aggregate 只使用一个单一的函数形式，如 "avg"

此外，df.rdd.map(lambda x: len(x.timestamp)) 的类型为 pyspark.rdd.PipelinedRDD。我们如何获取它的内容？

解决方法

根据docs，聚合过程：

1. 从作为零值 (0) 的第一个参数开始，
2. 然后使用第二个参数聚合 RDD 的每个分区，并且
3. 最后，使用第三个参数将聚合的分区组合成最终结果。在这里，您对每个分区求和，然后将每个分区的总和求和为最终结果。

您可能将此聚合与数据帧的聚合方法混淆了。 RDD 是低级对象，这里不能使用数据帧聚合方法，例如 avg/mean/etc。

要获取 RDD 的内容，您可以执行 rdd.take(1) 来检查随机元素，或者使用 rdd.collect() 来检查整个 RDD（请注意，这会将所有数据收集到驱动程序上，并且可以如果 RDD 很大会导致内存错误）。