如何加载检查点的 pyspark 数据框

问题描述

我下面的代码崩溃了，我想从最后一个检查点数据帧开始，而不是从头开始。我怎样才能加载它？我的目录中有这个文件夹 /tmp/53af5ba0-4419-4ab9-93c0-e5f69fd1c8eb

spark.sparkContext.setCheckpointDir("/tmp")

df_1 = df.randomSplit([1.0] * 10,123456)

for i in range(len(df_1)):
   df_1[i]=df_1[i].join(df_2)
   df_1[i].checkpoint()
   print(f'df[{i}] checkpointed!')
                                                              

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）