删除带有条件的 RDD 值

问题描述

我有一个这样的 RDD：

[ (Person 1,[Cat,Dog,Cow]),(Person 2,[Cat]),(Person 3,[Cow,Chicken])]

我有一个经常出现的动物列表：

freq_animals=[Cat,Dog]

我想在我的 RDD 中删除不在频繁动物列表中的每个人的值，即输出将是：

[ (Person 1,Dog]),[])]

知道如何更改我的 RDD 吗？ 谢谢！

解决方法

您可以使用列表推导式执行 mapValues：

rdd = sc.parallelize([("Person 1",["Cat","Dog","Cow"]),("Person 2",["Cat"]),("Person 3",["Cow","Chicken"])])

freq_animals = ["Cat","Dog"]

rdd2 = rdd.mapValues(lambda v: [i for i in v if i in freq_animals])

print(rdd2.collect())
# [('Person 1',['Cat','Dog']),('Person 2',['Cat']),('Person 3',[])]