我怎样才能得到笛卡尔积过滤出重复结果的一对元组？

问题描述

我试图定义一个函数来获取给定列表与其自身的笛卡尔积，但是我需要过滤掉包含相同对的元素。

例如： 得到 rdd 的笛卡尔积并拟合出结果 ((1,0),(1,0)),((2,(2,0)) 和 ((3,(3,0) ))

rdd = sc.parallelize([(1,0)])


def get_cart(rdd):
   
    a=sorted(rdd.cartesian(rdd).collect()) 
    aRDD=sc.parallelize(a)
 
    return aRDD

我期待得到输出：

[((1,((1,((3,0))]

相反，我得到：

[((1,0))]

解决方法

您可以使用过滤器删除第一个元组等于第二个元组的 RDD 元素：

def get_cart(rdd):
    return rdd.cartesian(rdd).filter(lambda r: r[0] != r[1])

注意没有必要收集RDD并在cartesian之后重新并行化它，它已经返回了一个RDD。