Hadoop安装部署
Hadoop安装部署
1、 软件包上传并解压
a) tar -zxvf hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz -C …/servers/
2、 第二步查看hadoop支持的压缩方式以及本地库
a) ./hadoop checknative
b) 安装openssl
yum -y install openssl-devel
./hadoop checknative
3、 修改配置文件
a) core-site.xml
b) hdfs-site.xml
c) Hadoop-env.sh (不用改)
d) mapred-site.xml
i. cp mapred-site.xml.template mapred-site.xml
ii. 修改
e) yarn-site.xml
f) slaves
4、 创建文件夹
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits
#### 5、安装包的分发scp -r hadoop-2.6.0-cdh5.14.0/ node02:$PWD
scp -r hadoop-2.6.0-cdh5.14.0/ node03:$PWD
6、配置hadoop环境变量
a) 创建文件/etc/profile.d/hadoop.sh 并编辑
export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export PATH=PATH:PATH:PATH:HADOOP_HOME/bin
b) source /etc/profile
7、 启动集群
a) 格式化集群
在第一个节点执行 hadoop namenode -format
b) 启动
i. 每个组件独立启动
启动namenode node01节点 ./hadoop-daemon.sh start namenode
启动namenode node01、02、03节点 ./hadoop-daemon.sh start datanode
启动resourcemanager node01节点 ./yarn-daemon.sh start resourcemanager
启动nodemanager node01、02、03节点 ./yarn-daemon.sh start nodemanager
ii. 单独启动
- 单独启动HDFS : ./start-dfs.sh 关闭 ./stop-dfs.sh
- 单独启动Yarn : ./start-yarn.sh 关闭 ./stop-yarn.sh
iii. 一键启动所有
启动: ./start-all.sh 关闭:./stop-all.sh
8、浏览器查看启动页面
http://主节点ip:50070
http://主节点ip:8088
Hadoop安装部署相关推荐
- hadoop安装部署(伪分布及集群)
hadoop安装部署(伪分布及集群) @(HADOOP)[hadoop] hadoop安装部署伪分布及集群 第一部分伪分布式 一环境准备 二安装hdfs 三安装YARN 第二部分集群安装 一规划 一硬 ...
- Hadoop 安装部署-多服务器
环境 Ubuntu Linux 8.04 linuxsvr01.vgolive.com 192.168.1.209 linuxsvr02.vgolive.com 192 ...
- 时空大数据实践之GeoWave安装部署实践
2019独角兽企业重金招聘Python工程师标准>>> 时空大数据实践之GeoWave安装部署实践 GeoWave是由国家地理空间情报局(NGA)与RadiantBlue和Booz ...
- Apache Atlas 2.3.0 安装部署
安装前环境准备 hadoop 3.1.0 hbase 2.3.4 hive 3.1.3 solr 7.7.3 zookeeper 3.5.7 kafka 2.11-2.4.1 atlas 2.3.0 ...
- hadoop 安装过程记录
1)首先配置好了四个linux虚拟机 root pwd:z****l*3 关闭了防火墙 开通了 sshd服务 开通了 ftp服务 配置了 jdk 1.8 配置好了互信 (之前配置的过程忘了!--检查了 ...
- hadoop 开启防火墙_Hadoop部署一Hadoop安装
哈喽,同学们好,继上篇文章<Hadoop部署一jdk与MySQL>,我们安装好了jdk以及MySQL.我们现在开始安装部署Hadoop,开启Hadoop之旅. 一.下载Hadoop安装包 ...
- Hadoop伪分布式集群的安装部署
Hadoop伪分布式集群的安装部署Hadoop伪分布式集群的安装部署 首先可以为Linux虚拟机搭建起来的最初状态做一个快照,方便后期搭建分布式集群时多台Linux虚拟机的准备. 一.如何为虚拟机做快 ...
- flume java 安装部署_[Hadoop] Flume安装部署与简单使用
1. Flume Flume是一个分布式的日志收集框架,针对日志数据进行采集汇总,把日志从A地方搬运到B地方去. 使用场景: RDBMS ==> Sqoop ==> Hadoop 分散在各 ...
- Zookeeper+Hadoop+Hbase完全分布搭建数据仓库安装部署说明
Zookeeper+Hadoop+Hbase 完全分布搭建数据仓库安装部署说明 ------------一个专注学习技术的不正经程序猿,像一颗海草,在技术的海洋里浪啊浪~ 网上一搜一大把这种文章,我这 ...
- CentOS 7.4 安装部署 hadoop 2.6 文档 V1.3
########################################################################## ################ CentOS 7 ...
最新文章
- Visual C++ 的代码折叠
- Django forms组件
- Asp.net core使用MediatR进程内发布/订阅
- 漫步数理统计四——概率集合函数(下)
- lin接口 连接计算机,db9接口(lin接口db9定义)
- nodejs下载与安装
- 效率起飞?时下流行Sketch插件谁更“香”
- 手机虚拟键盘的设置显示隐藏
- Labview各版本软件下载链接
- 那些年,大厂在用的技术(前端)
- vim 修改文件出现错误“E45: 'readonly' option is set (add ! to override)”
- android 抠图功能,Android抠图工具,天天P图
- main线程 子线程 顺序_在主线程main中开启子线程thread示例
- 英语文献超过3个作者_TPR英语启蒙的3个误区,你都知道吗?
- 在主窗口中打开一个子窗口,主窗口和子窗口怎么传递参数?
- 利用Python3开发一款小工具(界面的设计)
- 聚类篇——(四)有序样品聚类
- 手机百度浏览器怎么设置繁体字_百度浏览器繁体版下载-百度浏览器繁体中文版电脑版 - 极光下载站...
- C#中绘制三维模型的方法——面面拉伸
- 这,不是我想要的生活