Spark:使用 Speculation 属性时,应用程序随机失败并显示 Failed to CREATE_FILE

问题描述

我在我的算法中启用了推测属性。有了这个属性,当我执行作业时,在 10 次中,有 8 次作业完成没有任何问题,并且它完成得也很快。但是 2 次应用程序失败并显示以下错误消息。它随机失败。

即使由于随机故障,投机属性给我们带来了好处,但我无法在生产中使用此属性。你能帮忙解决这个问题吗。

错误信息:-

"Caused by: org.apache.hadoop.ipc.remoteexception(org.apache.hadoop.hdfs.protocol.AlreadyBeingCreatedException): 
Failed to CREATE_FILE hdfs://.../.spark-staging-c103afe4-4b1d-4105-8e1a-b67ad2347aef/calendar_date=2021-02-28/iteration=2/part-02528-c103afe4-4b1d-4105-8e1a-b67ad2347aef.c000.snappy.orc 
for DFSClient_NONMAPREDUCE_-321811341_100 on 172.22.48.145 because this file lease is currently owned by DFSClient_NONMAPREDUCE_-537211732_100 on 172.22.48.145"

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)