运行较大的YARN作业的主要限制是什么？如何增加它？

问题描述

运行较大的YARN作业（Hadoop版本HDP-3.1.0.0（3.1.0.0-78））的主要限制是什么？如何增加它？ 基本上，想同时执行更多（所有都是非常大的）squip工作。

我目前假设，我需要增加资源管理器的堆大小（因为这是运行YARN作业时在Ambari仪表板上看到的内容）。如何向RM堆中添加更多资源/为什么RM堆看起来只是整个群集中可用（对YARN而言）总RAM的一小部分？

在Ambari中查看：YARN群集内存为55GB，但RM堆仅为900MB。

有经验的人可以告诉我，运行更多YARN应用程序有什么区别，哪些是限制因素（同样，我如何增加它）？我还有什么需要看的吗？有任何文档对此进行更详细的解释吗？

解决方法

调整YARN和MapReduce内存的便捷方法是使用 yarn-utils 脚本。

下载伴侣文件## Ref

wget http://public-repo-1.hortonworks.com/HDP/tools/2.6.0.3/hdp_manual_install_rpm_helper_files-2.6.0.3.8.tar.gz

tar zxvf hdp_manual_install_rpm_helper_files-2.6.0.3.8.tar.gz

---

执行YARN实用程序脚本## Ref

您可以通过提供可用核心，可用内存，磁盘数量，是否安装HBase来执行 yarn-utils.py python脚本。

如果您具有异构的Hadoop群集，则必须根据节点规范创建配置组。如果您需要更多有关此方面的信息，请告诉我，我将据此更新答案。