Centos6.5 Hadoop完全分布集群搭建详解

#系统:centos6.5	64位
#JDK:1.7.0_79
#Hadoop:2.4.0 	64位
#注：（配置网络，首先配置好一台主机，另外的克隆主机即可）

一、安装SSH

yum install openssh

二、关闭防火墙

chkconfig iptables off
sudo gedit /etc/selinux/config  # 改为 SELINUX=disabled

三、修改hosts文件

sudo gedit /etc/hosts

把里面所有的内容使用#注释掉，然后添加主机的ip和主机名

192.168.10.110		Master
192.168.10.111		Slave1
192.168.10.112		Slave2

四、设置免密码登陆

ssh-keygen -t rsa		#一路空格
```					
切换到ssh的目录

cd /root/.ssh cat id_rsa.pub >> authorized_keys

测试是否可以免密码登陆

ssh Master

五、配置JDK
把JDK 解压到 /usr/java/ 目录下
配置JDK的环境变量

sudo gedit /etc/profile #在最后一行增加以下内容： JAVA_HOME=/usr/java/jdk1.7.0_79 JRE_HOME=/usr/java/jdk1.7.0_79/jre PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin CLAsspATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

五、配置Hadoop
解压Hadoop-2.4.0到 /usr/java 的目录下
需要配置文件：core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、hadoop-env.sh、yarn-env.sh、slaves。
1、core-site.xml

fs.defaultFS hdfs://Master:9000 默认HDFS的路径 true hadoop.tmp.dir /usr/java/hadoop-2.4.0/tmp 临时文件夹路径 io.file.buffer.size 131072 缓冲区的大小:io.file.buffer.size 默认4KB hadoop.proxyuser.hduser.hosts * hadoop.proxyuser.hduser.groups *

2、hdfs-site.xml

dfs.namenode.secondary.http-address Master:9001 dfs.namenode.name.dir file:/usr/java/hadoop-2.4.0/dfs/namenode dfs.datanode.data.dir file:/usr/java/hadoop-2.4.0/dfs/datanode dfs.replication 3 dfs.webhdfs.enabled true

3、mapred-site.xml

mapreduce.framework.name yarn Execution framework set to Hadoop YARN. mapreduce.jobhistory.address Master:10020 mapreduce.jobhistory.webapp.address Master:19888

4、yarn-site.xml

yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler yarn.resourcemanager.address Master:8032 The address of the applications manager interface in the RM. yarn.resourcemanager.scheduler.address Master:8030 The address of the scheduler interface,in order for the RM to obtain the resource from scheduler yarn.resourcemanager.resource-tracker.address Master:8031 The address of the resource tracker interface for the nodeManagers yarn.resourcemanager.admin.address Master:8033 The address for admin manager yarn.resourcemanager.webapp.address Master:8088 The address of the RM web application.

5、hadoop-env.sh     （增加JDK的安装目录）

export JAVA_HOME=/usr/java/jdk1.7.0_79

6、yarn-env.sh     （增加JDK的安装目录）

export JAVA_HOME=/usr/java/jdk1.7.0_79

7、slaves

Slave1 Slave2

六、配置Hadoop的环境变量

sudo gedit /etc/profile

set hadoop path

export HADOOP_HOME=/usr/hadoop export PATH=$PATH :$HADOOP_HOME/bin

七、克隆两台虚拟机，配置好网络。192.168.10.111   192.168.10.112
八、互相ping ip地址,看是否可以ping通。互相 ssh ip地址，看是否可以免密码登陆。
九、回到Master的主机，切换到Hadoop的目录下执行

[hadoop@Master hadoop]$ bin/hadoop namenode -format [hadoop@Master hadoop]$ bin/start-all.sh

十、打开浏览器，输入 192.168.10.110:50075
看是否有两个节点。