问题描述
我有以下带有 ID 及其计数的 pyspark RDD：
rdd = [('12',560),('34',900),('56',800),('78',100),('910',220),('125',410),('111',41),etc.]
id_list = ['12','125','78']
我想要一个新的键值对列表，其中包含来自 id_list 的 'id' 和来自 rdd 的 'counts'。
预期的输出：
new_list = [('12',100)]
如果 rdd 是一个 python 字典，我可以遍历 id_list，检查它是否在字典中并返回一个带有键和计数的新列表。但是我不知道如何使用 RDD 来做到这一点。请指教。
我可能会尝试将 RDD 转换为字典，但这会破坏使用 spark 的目的。
解决方法
您可以使用 lambda 函数过滤 RDD，该函数检查键是否在 id_list 中：
rdd2 = rdd.filter(lambda x: x[0] in id_list)