更新到 mapred-default.xml 在 Web UI 配置中不可见

问题描述

我有一个在 docker 中运行的 Apache Kylin 容器。我在 map reduce 阶段遇到 Java 堆空间错误,所以我尝试更新 Hadoop mapred-default.xml 文件中的一些参数。进行更改后,我重新启动了容器,但是,当我转到 Yarn ResourceManager Web UI 和 Configuration 时:

Yarn ResourceManager Web UI screenshot

打开一个xml文件,如下所示:

enter image description here

然而,我在 mapred-default.xml 中设置的属性的新值不在这里,它显示了这些属性的旧值......有没有人知道为什么会发生这种情况以及我应该做什么使其注册新值?我尝试重新启动容器,但没有帮助...

解决方法

要覆盖属性的默认值,请在标签内指定新值,在 mapred-site.xml 内而不是 mapred-default.xml 内,使用以下格式:

<property>
 <name>mapreduce.map.memory.mb</name>
 <value>1024</value>
</property>

通过stop-yarn.shstart-yarn.sh重新配置后一定要重启yarn。