问题描述
我通过SPOTInst API提交了我的EMR群集请求。我已经提到了r4.x，z1d，c5和i2-3的实例类型及其权重。 通常，在群集启动时，我看到r4.xlarge被拾取。 主机和核心按需，任务当场
我小批量向EMR提交了工作，并在4天内完成了全部工作。如果我并行提交3个工作，则每个批处理将在3倍的时间内完成（因为所有3个并行批处理都在争夺相同资源），这意味着整个工作将在4天内完成。
我应该如何调整群集实例类型，以便它可以有效地处理3x批次的负载？ 如果我选择超大型集群类型，那么我的作业将批量提交，并因检查点RDD错误而开始失败。
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）