问题描述
我正在阅读一个视图,并使用scala进行了一些转换。但是在运行该作业时,此作业经常失败,但以下情况除外
由于退出了appattempt_1599674636141_9830_000001的AM容器且退出代码为0,应用程序application_1599674636141_9830失败了1次(全局限制= 2;本地限制= 1)
火花提交命令
spark-submit --class xx.xx.Class --master yarn --deploy-mode cluster \
--conf spark.sql.sources.partitionOverwriteMode=dynamic \
--conf spark.yarn.maxAppAttempts=1 --num-executors 300 --executor-cores 4 --executor-memory 12G --driver-memory=20G --name=workflow_1 \
--conf spark.sql.shuffle.partitions=800 --conf spark.serializer=org.apache.spark.serializer.KryoSerializer /path/to/my/jar.jar
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)