多节点 hadoop 集群的纱线配置

问题描述

我对多节点 hadoop 集群的纱线配置感到困惑。

我在 Hadoop 中有多节点（3 个节点）。我有 4 个虚拟机（1 个主节点和 3 个数据节点）。我的主机是 Windows，4 VM 是 Linux ubuntu。在我的 VirtualBox 上，我选择了固定大小的分配，它从我的主机中获取了实际大小。

192.112.56.1（主节点 - 30GB RAM、6 核 Vcpu、40GB 硬盘）
192.112.56.2（datanode1 - 24GB RAM，6 核 Vcpu，100GB 硬盘）
192.112.56.3（datanode2 - 24GB RAM，6 核 Vcpu，100GB 硬盘）
192.112.56.3（datanode3 - 24GB RAM，6 核 Vcpu，100GB 硬盘）

这是我的纱线配置：纱线站点.xml

<configuration>
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>20000</value>
  </property>
  <property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>2048</value>
  </property>
  <property>
   <name>yarn.nodemanager.resource.cpu-vcores</name>
   <value>5</value>
  </property>
</configuration>

这是我的 mapred-site.xml 文件：

<configuration>
  <property>
    <name>mapreduce.map.memory.mb</name>
    <value>2048</value>
  </property>
  <property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>4096</value>
  </property>
  <property>
    <name>mapreduce.map.java.opts</name>
    <value>-Xmx1638m</value>
  </property>
  <property>
    <name>mapreduce.reduce.java.opts</name>
    <value>-Xmx3278m</value>
  </property>
  <property>
    <name>mapreduce.map.cpu.vcores</name>
    <value>2</value>
  </property>
  <property>
    <name>mapreduce.reduce.cpu.vcores</name>
    <value>3</value>
  </property>
</configuration>

我的输入数据大小为 26GB。我一直保存在 hdfs 中。

我对 Hadoop 非常陌生。请让我知道我必须如何配置 yarn-site.xml 和 mapred-sit.xml 文件。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

hadoop2 yarn