运行 MR/TEZ/SPARK 作业的纱线 ui 中的队列百分比和集群差异百分比

问题描述

在调试 TEZ/SPARK/MR 作业时，我可以在 YARN UI 中看到以下作业详细信息。

有没有人帮我处理 % 的队列和 % 的集群统计数据，因为它显示了 1815% 的使用率？

解决方法

% of cluster is stat，它告诉你你的工作从集群中占用了多少资源。

% 的队列告诉您，您的查询占用了多少绝对配置容量。

示例：

您的集群有 1000GB 的内存和两个队列。 QueueA 的绝对配置容量为 1%，最大容量为 100%。 QueueB 的绝对配置容量为 99%，最大容量为 100%。

如果您在 queueA 中运行查询，您可以保证获得至少 10GB 的内存，但根据集群负载，您可以获得最多 1000GB 的内存。

这意味着当您在 queueA 中运行查询并获得 20GB 内存时，您将使用队列的 200%，但使用集群的 2%。