Group_by_key 在 Pyspark 中按顺序排列

问题描述

rrr = sc.parallelize([1,2,3])
fff = sc.parallelize([5,6,7,8])
test = rrr.cartesian(fff)

这是test：

[(1,5),(1,6),7),8),(2,(3,8)]

调用groupByKey后有没有办法保留顺序：

test.groupByKey().mapValues(list).take(2)

输出是这个列表是随机顺序的： Out[255]: [(1,[8,5,7]),[5,8,[6,5])]

所需的输出是：

[(1,8]),8])]

如何实现这一目标？

解决方法

您可以再添加一个 mapValues 以对列表进行排序：

result = test.groupByKey().mapValues(list).mapValues(sorted)