一文看懂虚拟机Centos 7的配置搭建Hadoop开发环境

0.写在前面

软件版本:VM14,Centos 7,hadoop 2.5,jdk 1.8

本文是接上一篇虚拟机的设置的之后开始的,建议先看前一篇。

jdk 1.8官网下载:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

hadoop 2.5官网下载:https://archive.apache.org/dist/hadoop/common/hadoop-2.5.0/

建议阅读本文前先浏览有关虚拟机的新建及网络配置https://blog.csdn.net/qq_40471761/article/details/88557696

 

1.网络配置

1.1查找配置文件

su   //更改当前用户为root用户
cd /etc/sysconfig/network-scripts  //进入指定目录下修改IP地址的配置
ll //查看当前目录的文件

1.2更改配置文件

默认情况下 ifcfg-ens33为ip地址的配置文件,使用vi命令编辑

(若为只读,使用 chmod u+x ifcfg-ens33 命令,增加写权限)

1.3重启网络服务

systemctl restart network.service

1.4在宿主机进行测试

2.给用户增加sudo权限

vi /etc/sudoers   //编辑sudo的配置文件(若文件为只读,则增加文件写操作,具体操作见1.2)

 3.修改hosts文件

添加ip地址与主机名之间的映射关系(若为分布式搭建,则将主从节点的映射关系都添加)

4.关闭防火墙

systemctl stop firewalld           //临时关闭防火墙

systemctl disable firewalld      //关闭防火墙自启动

5.SSH免密登录

本机之间(主从机之间)都需要配置

//从root用户退回自建用户
ssh-keygen -t rsa  //生成秘钥,提示输入时,一直敲回车即可

ssh-copy-id   192.168.125.201//根据实际情况修改地址

6.安装jdk

6.1上传jdk安装包

6.2解压jdk安装包并重命名

tar -zxvf jdk-8u202-linux-x64.tar.gz -C ./      //解压缩
mv jdk-8u202-linux-x64.tar.gz jdk                //重命名

6.3修改环境变量

sudo vi /etc/profile                //编辑文件

export JAVA_HOME=/apps/jdk
export PATH=$PATH:$JAVA_HOME/bin    //文件末尾增加(路径根据实际情况更改)

6.4刷新环境变量

source /etc/profile

6.5验证

java -version

 

7.安装hadoop

7.1上传安装包

7.2解压安装包并重命名

tar -zxvf hadoop-2.5.0.tar.gz -C ./    //解压缩
mv hadoop-2.5.0.tar.gz hadoop            //重命名

7.3修改配置文件

hadoop-env.sh

添加jdk的路径

============

core-site.xml

注意这里设置的文件系统地址为 9000(有版本推荐设置为8020,可以自行更改)

        <property>
		<name>fs.defaultFS</name>
		<value>hdfs://主机名/IP地址:9000</value>	
	</property>
	

	<property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop111/hadoop/hdpdata</value>
         </property>

================

hdfs-site.xml

<property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>

=======================

yarn-site.xml

<property>
                <name>yarn.resourcemanager.hostname</name>
                <value>主机名/IP地址</value>
        </property>
	
	<property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>

 

==========

mapred-site.xml

mv mapred-site.xml.template mapred-site.xml   //重命名模板文件

<property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

==================

slaves

在其中加入从节点的IP

 

7.4格式化namenode

 bin/hadoop namenode -format

格式化成功

7.5启动hadoop

sbin/start-all.sh

7.6验证

1.jps命令

 2.浏览器端

http://192.168.125.201:50070

 

至此配置完成

觉得有帮助,请点赞加个关注

 

相关文章

linux下开机自启: 在/etc/init.d目录下新建文件elasticsear...
1、因为在centos7中/etc/rc.d/rc.local的权限被降低了,所以...
最简单的查看方法可以使用ls -ll、ls-lh命令进行查看,当使用...
ASP.NET Core应用程序发布linux在shell中运行是正常的。可一...
设置时区(CentOS 7) 先执行命令timedatectl status|grep &...
vim&#160;/etc/sysconfig/network-scripts/ifcfg-eth0 B...