Win10安装Hadoop3.1.2教程图文

由于工作学习需要很多用户需要在Win10系统下安装Hadoop,今天小编就详细分享下Win10中安装Hadoop的教程图文详细资料。

安装环境:

JDK 1.8

Windows10

Hadoop3.1.2

需要注意的是jdk版本不要过高,否则可能会带来问题

一、安装Hadoop步骤

官网下载Hadoop3.1.2 :下载地址

解压到自定义文件夹,我这里选择我的路径

F:Environmenthadoop-3.1.2hadoop

配置环境变量

JAVA_HOME : F:Environmentjavajdk1.8.0_181

HADOOP_HOME : F:Environmenthadoop-3.1.2hadoop

path添加

%JAVA_HOME%bin

%JAVA_HOME%jrebin

%HADOOP_HOME%bin

检测是否安装成功

java -version

hadoop - version

出现以上信息说明安装成功 !

二、修改配置文件

1、需要修改文件在解压后的目录下,F:Environmenthadoop-3.1.2hadoopetchadoop

hadoop-env.cmd

用Notepad++ 打开hadoop-env.cmd文件

找到**set JAVA_HOME=%JAVA_HOME%**一行,将其值修改为jdk所在目录

如果目录带有空格,可以通过下面两种方式处理:

这里以安装目录为C:Program FilesJavajdk1.8.0_181为例

因为Program Files中存在空格,若是直接使用会出现错误,可以下面两种方式之一进行处理:

只需要用PROGRA~1 代替Program Files,即改为C:PROGRA~1Javajdk1.8.0_18

或是使用双引号改为 “C:Program Files”Javajdk1.8.0_181

core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

mapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

yarn-site.xml

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hahoop.mapred.ShuffleHandler</value>

</property>

</configuration>

hdfs-site.xml

需要再hadoop解压的根目录下创建一个data文件夹,并在data下创建namenode和datanode两个子文件夹;

然后添加配置文件

<configuration>

<!-- 这个参数设置为1,因为是单机版hadoop -->

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>/F:/Environment/hadoop-3.1.2/hadoop/data/namenode</value>

</property>

<property>

<name>fs.checkpoint.dir</name>

<value>/F:/Environment/hadoop-3.1.2/hadoop/data/snn</value>

</property>

<property>

<name>fs.checkpoint.edits.dir</name>

<value>/F:/Environment/hadoop-3.1.2/hadoop/data/snn</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/F:/Environment/hadoop-3.1.2/hadoop/data/datanode</value>

</property>

</configuration>

配置文件修改完毕 !

三、替换bin文件

下载的Hadoop不支持Windows系统,需要替换bin目录下的文件方便在Windows上运行。这也是掉坑来的地方了!!!!

在网上下载到的hadooponwindows-master.zip 以及winutils中应该是只适合hadoop 3.0.0及其以下,尝试过hadooponwindows-master.zip以及winutils中最高的版本3.0.0,启动hadoop都会出现下面的错误:Error starting NodeManager、UnsatisfiedError

折腾了好久(低版本的hadoop还没下载完毕),终于找到3.1.0版本winutils,下载后直接替换掉hadoop目录下bin文件即可:

复制yarn的jar包

可以看到resourcemanager.ResourceManager: Error starting ResourceManager启动失败的日志

报了类TimelineCollectorManager找不到的错误

解决方法:

F:Environmenthadoop-3.1.2hadoopsharehadoopyarntimelineservice

将这个文件夹下的hadoop-yarn-server-timelineservice-3.1.2.jar 包

复制到这个路径下 F:Environmenthadoop-3.1.2hadoopsharehadoopyarn 即可解决

四、格式化HDFS文件系统

hdfs namenode -format

如果这一步没有什么异常基本没有问题了。

启动

进入hadoop的sbin目录

我这里在 : F:Environmenthadoop-3.1.2hadoopsbin

# 启动

# 会自动开启四个新的命令行窗口,窗口没打印异常即启动成功

start-all

# 停止

stop-all

# 查看正在运行的实例进程及端口

jps

这四个窗口不能关闭 , 否则进程会结束

五、访问管理GUI

启动成功后,可以访问GUI页面

http://localhost:8088

http://localhost:9870

最后我们停止一下所有进程

写在最后:

运行结束后你会发现hadoop安装的磁盘根目录下多了一个tmp临时文件目录

里面有一些 Hadoop的缓存文件 ,不需要的话可以清理一下的。

以上就是这次Winwin7小编关于在Win10系统下安装Hadoop详细部分分享了,希望大家能喜欢哦。

相关文章

有不少用户反馈在升级到Win11系统之后发现打开文件夹,选择文...
就在本月19日微软正式发布了2021年5月版更新,也就是Windows...
又到了一个月一度的微软对Win10的例行更新发布日,微软给Win...
最近有Win10用户反馈游戏性能大幅下降,原来能跑140FPS的魔兽...
又到了一个月一度的微软对Win10的例行更新发布日,微软给Win...
之前在Win10测试版中,微软就经采用了窗体过度动画,微软将原...