Datanode 无法在 Windows 上的 Hadoop 单节点集群上工作

编程问答 2022-04-23

问题描述

关于堆栈溢出有很多类似的问题，但没有一个能解决我的问题。

我正在尝试启动我的 namenode 和 datanode，其中 namenode 开始工作，但 datanode 与资源管理器和节点管理器一起失败。这是显示的错误：

2021-06-17 15:44:09,513 错误 datanode.Datanode：secureMain 中的异常 org.apache.hadoop.util.diskChecker$diskErrorException：失败的卷太多 - 当前有效卷：0，卷配置：1，卷失败：1，允许的卷故障：0 在 org.apache.hadoop.hdfs.server.datanode.checker.StorageLocationChecker.check(StorageLocationChecker.java:231) 在 org.apache.hadoop.hdfs.server.datanode.Datanode.makeInstance(Datanode.java:2799) 在 org.apache.hadoop.hdfs.server.datanode.Datanode.instantiateDatanode(Datanode.java:2714) 在 org.apache.hadoop.hdfs.server.datanode.Datanode.createDatanode(Datanode.java:2756) 在 org.apache.hadoop.hdfs.server.datanode.Datanode.secureMain(Datanode.java:2900) 在 org.apache.hadoop.hdfs.server.datanode.Datanode.main(Datanode.java:2924) 2021-06-17 15:44:09,518 INFO util.ExitUtil：以状态 1 退出：org.apache.hadoop.util.diskChecker$diskErrorException：失败的卷太多 - 当前有效卷：0，卷配置：1，卷失败：1，允许的卷故障：0 2021-06-17 15:44:09,522 信息 datanode.Datanode: SHUTDOWN_MSG:

这是我的hdfs-site.xml：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
     <name>dfs.replication</name>
     <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>C:\Users\username\Documents\hadoop-3.2.1\data\dfs\namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>C:\Users\username\Documents\hadoop-3.2.1\data\dfs\datanode</value>
  </property>
  <property>
    <name>dfs.datanode.Failed.volumes.tolerated</name>
    <value>0</value>
  </property>
</configuration>

可能的解决方案是什么？

解决方法

问题在这里回答：

https://stackoverflow.com/a/58924939/14194692

这个问题的答案不被接受，但我试过了，它奏效了。多田。

不删除我的问题，因为没有一个问题像我认为的这个问题问得那么清楚。我希望它能帮助其他人。

干杯。

datanodehdfsresourcemanagerwindowswindows