HDP 集群 + 资源管理器日志,警告为预留超出允许的节点数

问题描述

我们有 Hadoop 集群(带有 ambari 的 HDP 2.6.5 集群,有 25 个数据节点和节点管理器机器)

我们使用的是 Spark 流应用程序(spark 2.1 在 Hortonworks 2.6.x 上运行)

目前的情况是 Spark Streaming 应用程序运行在所有数据节点和节点管理器机器上

但从资源管理器日志中,我们看到以下信息警告:

2021-06-27 14:07:01,456 INFO  fair.FSAppAttempt (FSAppAttempt.java:reservationExceedsThreshold(495)) - Reservation Exceeds Allowed number of nodes: app_id=application_1624802728037_0004 existingReservations=10 totalAvailableNodes=181 reservableNodesRatio=0.05 numAllowedReservations=10
2021-06-27 14:07:01,456 INFO  fair.FSAppAttempt (FSAppAttempt.java:reservationExceedsThreshold(495)) - Reservation Exceeds Allowed number of nodes: app_id=application_1624802728037_0003 existingReservations=10 totalAvailableNodes=181 reservableNodesRatio=0.05 numAllowedReservations=10
2021-06-27 14:07:01,456 INFO  fair.FSAppAttempt (FSAppAttempt.java:reservationExceedsThreshold(495)) - Reservation Exceeds Allowed number of nodes: app_id=application_1624802728037_0009 existingReservations=10 totalAvailableNodes=181 reservableNodesRatio=0.05 numAllowedReservations=10

关于Reservation Exceeds Allowed number of nodes

为了避免上述消息,我们应该做哪些定制?

参考 - https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)