背景:大三上学期,云计算与大数据课程,实验作业
环境:VMware + centos7 (*3)
任务:本地模式—伪分布式—完全分布式
特色:有案例~
机器配置:
欢迎评论~
教程目录
一、基础环境
- 虚拟机:centos7
- 配置IP
- 关闭防火墙、创建用户、修改主机名、修改用户权限
Ⅰ. 关闭防火墙
Ⅱ. 创建用户(本教程使用hadoop用户操作)
Ⅲ. 修改主机名
Ⅳ. 修改hadoop用户权限 - 安装JDK1.8
- 部分删除命令及注意事项
Ⅰ. 删除命令
Ⅱ. 注意事项 - 任务介绍:搭建Hadoop2.7.3
二、本地(独立)模式
- 安装hadoop
- 配置环境变量
- 测试及两个案例
Ⅰ. 测试:查看版本
Ⅱ. 案例1: grep
Ⅲ. 案例2: 统计单词个数
三、伪分布式
- 伪分布式hdfs
Ⅰ.修改core-site.xml
Ⅱ.修改hdfs-site.xml - 启动伪分布式hdfs
Ⅰ. 格式化namenode
Ⅱ. 启动namenode和Datanode - 伪分布式-yarn
- 启动伪分布式yarn
- 伪分布式案例:wordcount
Ⅰ. 对比本地模式与伪分布式
Ⅱ. Wordcount案例