问题描述
在 EMR 上运行输入为 5.5TB 的 Spark 作业，获得 java.io.IOException: Connection reset by peer
集群详细信息：
- 主：1x m4.large（以集群模式运行）
- 核心：15x r5.12xlarge
Spark 环境变量设置：
- spark.executor.cores: 5
- spark.driver.cores：5
- spark.executor.memory：37g
- spark.driver.memory：37g
- spark.executor.memoryOverhead：5g
- spark.default.parallelism：2680
- spark.sql.shuffle.partitions：2680
- spark.executor.extrajavaoptions: -XX:+UseG1GC
- spark.serializer：org.apache.spark.serializer.KryoSerializer
shuffle 后第一阶段作业失败，这是 Ganglia 的截图。注意：利用率下降匹配失败阶段开始时，作业失败并在 13:17 重新启动：
我的问题：
这个失败是不是spark.default.parallelism设置太低导致的？
我看到前一个stage的shuffle write是11.3TB，失败的stage有8040个任务，是不是意味着新stage的每个partition的重量是11.3TB/8040？
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）