YARN 运行应用程序页面中的“Allocated CPU VCores”和 Spark UI Executors 选项卡中的“Cores”存在差异

问题描述

我在 Spark 2.3 上运行 spark 应用程序,spark.executor.cores 为 25

YARN Running applications 页面中的“Allocated cpu VCores”显示 2 个 VCores(1 个用于驱动程序,1 个用于执行程序)

Spark UI Executors 选项卡中的“Cores”显示 25。我也可以在舞台上看到 25 个并行任务

想知道为什么 Yarn 运行的应用程序页面显示误导性的 2 个 VCore。这是一个已知的错误吗?

解决方法

我确实在 HDP 上看到了一个错误:https://jira.pnda.io/browse/PNDA-4006。这个bug是在HDP 2.6.5.0-292中发现的