问题描述
我目前有这一行来过滤并将函数应用于 RDD。
data_to_update.rdd.map(find_differences).filter(lambda row: bool(row))
我想修改 find_differences
函数以在 unique_id
之外还采用另一个参数 row
。我不确定如何修改这一行来做到这一点,或者是否有更好的方法来编写它。
解决方法
假设您的当前函数如下所示:
def find_differences(row):
# do something
return result
您可以创建一个新函数和一个与原始函数匹配的偏函数:
from functools import partial
def find_differences_id(unique_id,row):
# do something else
return another_result
find_differences = partial(find_differences_id,unique_id)
并像以前一样映射 RDD。