如何在hadoop从机中启动datanode？

问题描述

我正在使用yarn配置创建hadoop集群，我从虚拟机中有2个VM，但是当我运行命令start-all.sh（start-dfs.sh和start-yarn.sh）时，我得到了在主终端和从终端上都使用jps进行anwser，但是当我在网络上访问master-ip：9870时，没有启动datanode

core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop-master:9000</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoopuser/hadoop/data/nameNode</value>
    </property>

    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoopuser/hadoop/data/datanode</value>
    </property>

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
    </property>
    <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
    </property>
    <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
    <property>
        <name>yarn.acl.enable</name>
        <value>0</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop-master</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

工人

hadoop-slave1

/ etc / hosts

master-ip    hadoop-master
slave-ip     hadoop-slave1

上面的配置在主机和从机中都可以。

我的.bashrc中也有JAVA_HOME，HADOOP_HOME和PDSH_RCMD_TYPE。而且我已经在主服务器中创建了ssh密钥，并与允许ssh连接的授权从服务器共享了它。

在主机上，我有以下输出：

在我的从属计算机中：

我的hdfs Web可视化文件中有0个节点：

但是我可以看到纱线配置中的从节点：

在将我的hdfs格式化在master上之前，我删除了hadoop tmp文件和datanode文件夹，并启动所有进程。我正在使用hadoop 3.2.1

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

cluster-computing hdfs