由于AM容器问题,Spark提交失败

问题描述

我正在阅读一个视图,并使用scala进行了一些转换。但是在运行该作业时,此作业经常失败,但以下情况除外

由于退出了appattempt_1599674636141_9830_000001的AM容器且退出代码为0,应用程序application_1599674636141_9830失败了1次(全局限制= 2;本地限制= 1)

火花提交命令

spark-submit --class xx.xx.Class --master yarn --deploy-mode cluster \
 --conf spark.sql.sources.partitionOverwriteMode=dynamic \
 --conf spark.yarn.maxAppAttempts=1 --num-executors 300 --executor-cores 4 --executor-memory 12G --driver-memory=20G --name=workflow_1 \
 --conf spark.sql.shuffle.partitions=800 --conf spark.serializer=org.apache.spark.serializer.KryoSerializer /path/to/my/jar.jar

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)