EMR集群中的“ Spark on Yarn核心数”

问题描述

我有一个用于Spark的Emr集群，具有以下2个实例的配置。

r4.2xlarge
8 vCore

因此，我的总vCores为 16 ，而在纱线Vcores中也是如此

我已经提交了一个带有参数--num-executors 2 --executor-cores 5的spark流作业。因此，我假设它将为执行者用完 2 * 5总共10个vcore ，但是仅使用群集中的总共2个内核（驱动程序为+1）

。

在瞬间，该作业仍在以10（2 * 5）个并行任务运行。似乎每个执行程序内核中仅运行5个线程。

我在不同的问题和文档中都读过-executor-cores使用实际的vCore，但是在这里，它仅将任务作为线程运行。 我的理解在这里正确吗？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）