Hadoop学习笔记3之启动进程脚本分析

2024-05-09 05:18:49

(一)Hadoop相关进程

【hdfs】启动脚本：start-hdfs.sh

NameNode NN

DataNode DN

Secondarynamenode 2NN

【yarn】启动脚本：start-yarn.sh

ResourceManager RM

NodeManager NM

(二)sbin/start-all.sh脚本分析

1.调用${Hadoop_HOME}/libexec/hadoop-config.sh

2.调用start-dfs.sh

3.调用start-yarn.sh

(三)sbin/start-dfs.sh脚本分析

1.调用${Hadoop_HOME}/libexec/hadoop-config.sh

2.取得namenode名字

3.调用hadoop-daemons.sh启动namenode

hadoop-daemons.sh" \

--config"$HADOOP_CONF_DIR" \

--hostnames"$NAMENODES" \

--script"$bin/hdfs" start namenode$nameStartOpt

sbin/hadoop-daemons.sh–config .. –hostname .. start namenode…

sbin/hadoop-daemons.sh –config ..–hostname .. start datanode…

sbin/hadoop-daemons.sh–config .. –hostname .. start secondarynamenode

sbin/hadoop-daemons.sh–config .. –hostname .. start zkfc //容灾节点

(四)sbin/start-yarn.sh脚本分析

1.取得${Hadoop_HOME}/libexec/yarn-config.sh

2.调用yarn-daemons.sh

# startresourceManager

"$sbin"/yarn-daemon.sh--config …. start resourcemanager

# startnodeManager

"$sbin"/yarn-daemons.sh–config …. start nodemanager

# startproxyserver

#"$sbin"/yarn-daemon.sh--config …. start proxyserve

(五) sbin/hadoop-daemons.sh脚本分析

1.调用${Hadoop_HOME}/libexec/hadoop-config.sh

2.取slaves文件

3.调用hadoop-daemon.sh

(六)sbin/hadoop-daemon.sh脚本分析

1.调用${Hadoop_HOME}/libexec/hadoop-config.sh

2.bin/hdfs ….

(七)sbin/yarn-daemons.sh

1.调用调用${Hadoop_HOME}/libexec/yarn-config.sh

2.bin/yarn

通过分析脚本，可以随意启停单个节点，例如

$hadoop-daemon.sh start namenode//启动namenode

$hadoop-daemons.sh start datanode //启动所有datanode

$hadoop-daemon.sh start secondarynamenode //启动2nn

$hadoop-daemon.sh stop datanode //停止单个datanode

Hadoop学习笔记3之启动进程脚本分析相关推荐

Hadoop学习笔记-集群部署
前期准备使用三台主机,每台安装好JDK和Hadoop 参考:Hadoop学习笔记–单台安装同步小技巧 scp–rsync–编写xsync scp是主机之间安全拷贝数据的工具,一般的语法为 scp ...
Hadoop学习笔记(1) ——菜鸟入门
Hadoop学习笔记(1) --菜鸟入门 Hadoop是什么?先问一下百度吧: [百度百科]一个分布式系统基础架构,由Apache基金会所开发.用户能够在不了解分布式底层细节的情况下.开发分布式 ...
Hadoop学习笔记(1)
原文:http://www.cnblogs.com/zjfstudio/p/3859704.html Hadoop学习笔记(1) --菜鸟入门 Hadoop是什么?先问一下百度吧: [百度百科]一个分 ...
Hadoop学习笔记—13.分布式集群中节点的动态添加与下架
Hadoop学习笔记-13.分布式集群中节点的动态添加与下架开篇:在本笔记系列的第一篇中,我们介绍了如何搭建伪分布与分布模式的Hadoop集群.现在,我们来了解一下在一个Hadoop分布式集群中,如 ...
Hadoop学习笔记—18.Sqoop框架学习
Hadoop学习笔记-18.Sqoop框架学习一.Sqoop基础:连接关系型数据库与Hadoop的桥梁 1.1 Sqoop的基本概念 Hadoop正成为企业用于大数据分析的最热门选择,但想将你的数据 ...
Hadoop学习笔记—15.HBase框架学习（基础知识篇）
Hadoop学习笔记-15.HBase框架学习(基础知识篇) HBase是Apache Hadoop的数据库,能够对大型数据提供随机.实时的读写访问.HBase的目标是存储并处理大型的数据.HBase ...
Hadoop学习笔记—16.Pig框架学习
Hadoop学习笔记-16.Pig框架学习一.关于Pig:别以为猪不能干活 1.1 Pig的简介 Pig是一个基于Hadoop的大规模数据分析平台,它提供的SQL-LIKE语言叫Pig Latin, ...
Hadoop学习笔记（四）HDFS部分下
Hadoop学习笔记(四)HDFS部分下一.HDFS 的数据流 1.1 HDFS的写数据流程客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件,Nam ...
SurfaceFlinger学习笔记(三)之SurfaceFlinger进程
概述本系列是基于android Q 即android10 SurfaceFlinger学习笔记(一)应用启动流程 SurfaceFlinger学习笔记(二)之Surface SurfaceFling ...

最新文章

热门文章