问题描述
我在 Spark 2.3 上运行 spark 应用程序,spark.executor.cores 为 25
YARN Running applications 页面中的“Allocated cpu VCores”显示 2 个 VCores(1 个用于驱动程序,1 个用于执行程序)
Spark UI Executors 选项卡中的“Cores”显示 25。我也可以在舞台上看到 25 个并行任务
想知道为什么 Yarn 运行的应用程序页面会显示误导性的 2 个 VCore。这是一个已知的错误吗?
解决方法
我确实在 HDP 上看到了一个错误:https://jira.pnda.io/browse/PNDA-4006。这个bug是在HDP 2.6.5.0-292中发现的