关于我的项目-hadoop搭建教程

背景：大三上学期，云计算与大数据课程，实验作业
环境：VMware + centos7 (*3)
任务：本地模式—伪分布式—完全分布式
特色：有案例~

免费资源链接：免费csdn资源

机器配置：

欢迎评论~

教程目录

一、基础环境

1. 虚拟机：centos7
2. 配置IP
3. 关闭防火墙、创建用户、修改主机名、修改用户权限
   Ⅰ. 关闭防火墙
   Ⅱ. 创建用户（本教程使用hadoop用户操作）
   Ⅲ. 修改主机名
   Ⅳ. 修改hadoop用户权限
4. 安装JDK1.8
5. 部分删除命令及注意事项
   Ⅰ. 删除命令
   Ⅱ. 注意事项
6. 任务介绍：搭建Hadoop2.7.3

二、本地（独立）模式

1. 安装hadoop
2. 配置环境变量
3. 测试及两个案例
   Ⅰ. 测试：查看版本
   Ⅱ. 案例1: grep
   Ⅲ. 案例2: 统计单词个数

三、伪分布式

1. 伪分布式hdfs
   Ⅰ.修改core-site.xml
   Ⅱ.修改hdfs-site.xml
2. 启动伪分布式hdfs
   Ⅰ. 格式化namenode
   Ⅱ. 启动namenode和DataNode
3. 伪分布式-yarn
4. 启动伪分布式yarn
5. 伪分布式案例：wordcount
   Ⅰ. 对比本地模式与伪分布式
   Ⅱ. Wordcount案例

四、完全分布式

1. 准备三台机器
2. 三台机器配置表
3. 配置SSH免密码登录
   Ⅰ.生成公钥私钥对（三台机器）
   Ⅱ.将公钥加入到授权列表
4. 完全分布式搭建
   Ⅰ. Hdfs
   Ⅱ. yarn
   Ⅲ. 同步修改文件
   Ⅴ. 格式化
   Ⅶ. 分别启动
   Ⅵ.同时启动
5. Wordcount案例