windows安装部署hadoop 2.7.7

hadoop作为大数据的基础框架组件，其包括hdfs，mapreduce和yarn三大组件。为了方便开发环境进行本地开发和测试，可以在windows环境搭建hadoop环境。

1. 下载文件

http://archive.apache.org/dist/hadoop/core/hadoop-2.7.7/
https://github.com/steveloughran/winutils

2. 执行解压和配置

2.1 配置文件core-site.xml

<configuration><property><name>fs.defaultFS</name><value>hdfs://192.168.22.56:9000</value></property>
</configuration>

这里配置hdfs的端口为9000，也可以根据实际情况，配置为其它的端口。

2.2 修改配置文件hdfs-site.xml

<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.http-address</name><value>192.168.22.56:50070</value></property><property>  <name>dfs.namenode.name.dir</name>    <value>/D:/sdks/hadoop-2.7.7/data/dfs/namenode</value></property><property>   <name>dfs.datanode.data.dir</name>    <value>/D:/sdks/hadoop-2.7.7/data/dfs/datanode</value>    </property>
</configuration>

这里配置的web界面地址为50070，可以通过浏览器在该端口访问hdfs。

2.3 重命名mapred-site.xml.template为mapred-site.xml

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapred.job.tracker</name><value>hdfs://192.168.22.56:9001</value></property>
</configuration>

2.4 修改配置文件yarn-site.xml

<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.calss</name>     <value>org.apache.hadoop.mapred.ShuffleHandler</value></property></configuration>

3. 初始化及启动

3.1 格式化namenode的hdfs

hdfs namenode –format

3.2 启动所有服务

在sbin目录下找到start-all.cmd并执行

start-all.cmd

3.3 查看运行服务

jps
D:\sdks\jdk1.8.0_191\bin>jps
37828 QuorumPeerMain
45828 NodeManager
53748 Jps
10168 ResourceManager
42060 NameNode
56156 DataNode

3.4 查看Web页面

http://localhost:50070/

这里因为网络更换原因，截图的ip地址有所不同。

http://localhost:8088/

4. 测试和使用

4.1 创建hdfs的目录

在bin目录下，执行下面的命令。

hadoop fs –mkdir /user
hadoop fs –mkdir /user/input

4.2 上传文件

hadoop fs –put e:/test.txt /user/input

查看文件内容：

hadoop fs –cat /user/input/test.txt

4.3 执行mapreduce任务

hadoop jar D:/sdks/hadoop-2.7.7/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /user/input/ /user/output

4.4 查看执行结果

windows安装部署hadoop 2.7.7相关推荐

CentOS 7.4 安装部署 hadoop 2.6 文档 V1.3
########################################################################## ################ CentOS 7 ...
Geoserver Windows 安装部署教程
Geoserver Windows 安装部署教程 JRE 安装部署不论是基于tomcat部署geoserver,还是直接安装geoserver的二进制文件,都需要Java环境,geoserver可以 ...
Nginx windows安装部署
一.Nginx简介 Nginx (engine x) 是一个高性能的HTTP和反向代理服务器,也是一个IMAP/POP3/SMTP服务器.Nginx是由伊戈尔·赛索耶夫为俄罗斯访问量第二的Ramble ...
MediaWiki在Windows安装部署——部署mediawiki
前置条件: XAMPP安装:https://blog.csdn.net/henni_719/article/details/86357949 配置phpMyAdmin:https://blog.csd ...
Nginx 反向代理 Windows安装部署教程
一.Nginx简介 Nginx (engine x) 是一个高性能的HTTP和反向代理服务器,也是一个IMAP/POP3/SMTP服务器.它也是一种轻量级的Web服务器,可以作为独立的服务器部署网站( ...
putty上传文件到linux_基于windows安装部署putty小工具及相关功能介绍
概述 PuTTY是一个Telnet.SSH.rlogin.纯TCP以及串行接口连接软件.较早的版本仅支持Windows平台,在最近的版本中开始支持各类Unix平台,并打算移植至Mac OS X上.除了 ...
Cloudera Manager 4.6 安装部署hadoop CDH集群
Cloudera Manager 4.6 安装详解 1. Cloudera Manager介绍 1.1. 功能介绍 Cloudera Manager是一个针对hadoop集群的管理工具,功能包括:cd ...
1_node for windows 安装部署
Node.js 安装配置本章节我们将向大家介绍在 Windows 和 Linux 上安装 Node.js 的方法. 本安装教程以 Node.js v4.4.3 LTS(长期支持版本)版本为例. No ...
Hadoop伪分布式集群的安装部署
Hadoop伪分布式集群的安装部署Hadoop伪分布式集群的安装部署首先可以为Linux虚拟机搭建起来的最初状态做一个快照,方便后期搭建分布式集群时多台Linux虚拟机的准备. 一.如何为虚拟机做快 ...