Windows10下Hadoop的安装


一、Hadoop下载和添加环境变量

稳定版Hadoop下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/,选择大小为204M名为hadoop-2.7.3.tar.gz的安装包,然后解压到硬盘(我的放在E盘了)。

解压Hadoop

解压Hadoop

添加环境变量

添加“HADOOP_HOME”系统变量,并添加到系统变量的Path中,按照下图操作

1.找到“高级系统设置”

2.点击“环境变量”

3.新建系统变量

4.将新建系统变量添加到Path

二、安装JDK

JDK的安装很重要!!!

JDK(Java SE Development Kit)是使用 Java 编程语言构建应用、小程序和组件的开发环境。JDK下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html,根据计算机操作系统(我的是Windows64位),选择下载相应的安装包。

jdk默认会安装在C:\Program Files下,而这样做是不可以的,因为在接下来配置Hadoop的时候,Hadoop会因为C:\Program Files路径中有一个空格而出现JAVA_HOME无法找到的错误。

所以,我在E盘下新建了一个名为java(记住文件夹名不能有空格!)的空文件夹用于安装jdk,然后点击jdk安装包

1.记下jdk版本号,更改安装路径

jdk install 1

jdk install 1

2.找到目标安装文件夹,填写版本号

jdk install 2

jdk install 2

3.点击“下一步”

jdk install 3

jdk install 3

4.因为我事先已经安装了Java,所以安装jdk时,jdk会提醒我一并安装Java,但是这并不需要,所以放心关闭就好

jdk install 4

jdk install 4

5.点击“否”

jdk install 5

jdk install 5

6.jdk安装成功,可以看到安装文件已经在安装路径下了

jdk install 6

jdk install 6

jdk install 7

jdk install 7

到此为止,Hadoop环境变量的配置和jdk的安装完成了,Hadoop的安装差不多完成一半了。

三、配置Hadoop

配置Hadoop的四个关键文件如下:

|文件名称|格式|描述| |::|::|::| |hadoop-env.cmd|Windows命令脚本|记录脚本中要用到的环境变量,以运行Hadoop| |core-site.xml|Hadoop配置XML|Hadoop Core的配置项,例如HDFS和mapreduce常用的I/O设置| |hdfs-site.xml|Hadoop配置XML|Hadoop守护进程的配置项,包括namenode、辅助namenode和datanode等| |mapred-site.xml|Hadoop配置XML|mapreduce守护进程的配置项,包括jobtracker和tasktracker(每行一个)|

下面给出我的配置信息,大家打开文件后直接添加便可

1.编辑hadoop-2.7.3\hadoop-2.7.3\etc\hadoop\hadoop-env.cmd文件

1
2
@rem The java implementation to use. Required.
set JAVA_HOME=E:\java\jdk1.8.0_131 # 填写你的jdk安装路径,路径有空格的话会报错

2.编辑hadoop-2.7.3\hadoop-2.7.3\etc\hadoop\core-site.xml文件

1
2
3
4
5
6
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

3.编辑hadoop-2.7.3\hadoop-2.7.3\etc\hadoop\hdfs-site.xml文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/hadoop/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/hadoop/data/datanode</value>
</property>
</configuration>

4.编辑hadoop-2.7.3\hadoop-2.7.3\etc\hadoop\mapred-site.xml文件

1
2
3
4
5
6
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

5.编辑hadoop-2.7.3\hadoop-2.7.3\etc\hadoop\yarn.xml文件

1
2
3
4
5
6
7
8
9
10
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

四、格式化并启动Hadoop

格式化HDFS文件系统,hdfs namenode -format

打开cmd,cd到\hadoop\hadoop-2.7.3\sbin,输入start-all,启动Hadoop,同时弹出四个窗口,Namenode、Datanode、YARN resourcemanager、YARN nodemanager四个进程启动成功。

打开localhost:8088,进入web页面,Hadoop安装成功。

参考

1.http://toodey.com/2015/08/10/hadoop-installation-on-windows-without-cygwin-in-10-mints/

觉得还不错?帮我赞助点域名费吧:)