如何识别under replica blocks的问题

问题描述

我们用一台数据节点机器安装了小型 HDP 集群

HDP 版本为 2.6.5，ambari 版本为 2.6.1

所以这是一个包含两个名称节点和只有一个数据节点（工作机器）的新集群

我们看到的有趣行为是在 ambari 仪表板上增加了 under replica，目前副本块下的数量是 15000

我们知道这个问题的最根本原因是名称节点到数据节点之间的网络问题

但在我们的 hadoop 集群中并非如此

我们也可以通过以下步骤减少under副本

su - <$hdfs_user>

bash-4.1$ hdfs fsck / | grep 'Under replicated' | awk -F':' '{print $1}' >> /tmp/under_replicated_files 

-bash-4.1$ for hdfsfile in `cat /tmp/under_replicated_files`; do echo "Fixing $hdfsfile :" ;  hadoop fs -setrep 3 $hdfsfile; done

但我们不想这样做，因为从一开始就不应该发生下副本问题

也许需要调整一些 HDFS 参数，但我们不确定这一点

请告诉我们任何可以帮助我们的建议

解决方法

如果自集群安装后发生复制块问题，请检查以下属性：-

dfs.replication

这决定了需要创建多少个副本，如果您有 one datanode 那么这应该设置为 1

从指标页面来看，我觉得一切都很好，

ambari hdfs hdp