Hadoop集群如何启动

Hadoop集群如何启动
1 hadoop软件安装的目录：/opt/app
有如下软件：hbase、spark-2.1.0-bin-hadoop2.4、hbconf、sqoop、hdconf、hive、zookper-3.4.6、hadoop-2.5.2、java1.8.0_121、spark-1.5.2-bin-2.5.2

集群1（分析集群）启动
依次zookper、hadoop服务、spark、azkaban
1）启动和停止zookeeper
/opt/app/zookeeper-3.4.6/bin/zkServer.sh start（启动）
/opt/app/zookeeper-3.4.6/bin/zkServer.sh stop （停止）
/opt/app/zookeeper-3.4.6/bin/zkServer.sh status （查看状态）

注意：zookper需要在部署zookper服务器上单独启动，不能一次启动所有；
部署Zookper的服务器为奇数，其中一台为leader，其他为follower
启动成功，输入jps，出现quorumpeermain服务

2）一次性启动和停止所有机器所有其他hadoop服务
（namenode esourcemanagerdatanode odemanagerjournalnodewebappproxyserverjobhistoryserver）
/opt/app/hadoop/sbin/start-all.sh（启动）
/opt/app/hadoop/sbin/start-all.sh（停止）
注意：可以在集群中任何一台机器上运行
启动完成后，可以进去集群。输入jps，查看服务启动情况
Namenode有2个，其中1作主namenode，1个作辅namenode（Secondarynamenode）
辅助namenode上的resourcemanager通过start-all.sh可能启动不了，需要进入辅namenode上手动启动（/opt/app/hadoop/sbin/hadoop-daemon.sh startresourcemanager）

启动spark服务
A一次性启动所有spark服务（master和worker）
/opt/app/spark-2.1.0-bin-hadoop2.4/sbin/start-all.sh（启动所有的master和worker）
/opt/app/spark-2.1.0-bin-hadoop2.4/sbin/stop-all.sh（停止所有的master和worker）
/opt/app/spark-2.1.0-bin-hadoop2.4/sbin/start-all.sh（启动所有的master和worker）
B单独启动spark服务
/opt/app/ spark-2.1.0-bin-hadoop2.4/sbin/spark-daemon.sh start mater spark://namenode01:7077
或者/opt/app/ spark-2.1.0-bin-hadoop2.4/sbin/start-master.sh spark://namenode01:7077（启动master）
/opt/app/ spark-2.1.0-bin-hadoop2.4/sbin/start-slave.sh（启动worker）
启动azkaban服务
/opt/app/azkaban/executor/bin/azkaban-executor-start.sh（启动Azkaban Executor Server）
/opt/app/azkaban/web/bin/azkaban-web-start.sh（启动Azkaban Web Server）
单独启动hadoop服务
A一次性启动namenode和datanode
/opt/app/hadoop/sbin/start-dfs.sh（启动）
/opt/app/hadoop/sbin/stop-dfs.sh（停止）
B单独启动每台机器的namenode和datanode
/opt/app/hadoop/sbin/hadoop-daemon.sh start namenode（启动namenode）
/opt/app/hadoop/sbin/hadoop-daemon.sh start datanode（启动datanode）
C一次性启动resourcemanager和nodemanager
/opt/app/hadoop/sbin/start-yarn.sh（启动）
/opt/app/hadoop/sbin/stop-yarn.sh（停止）
D单独启动每台机器的resourcemanager和nodemanager
/opt/app/hadoop/sbin/yarn-daemon.sh start resourcemanager（启动resourcemanager）
/opt/app/hadoop/sbin/yarn-daemon.sh start nodemanager（启动nodemanager）
E单独启动JournalNode
/opt/app/hadoop/sbin/hadoop-daemon.sh start JournalNode（启动JournalNode）
F单独启动HistoryServer
/opt/app/hadoop/sbin/mr-jobhistory-daemon.sh start（启动HistoryServer）
G 单独启动proxyserver
/opt/app/hadoop/sbin/yarn-daemon.sh proxyserver（启动proxyserver）
注：hadoop-daemon.sh命令可以启动如下服务
namenode|secondarynamenode|datanode|journalnode|dfs|dfsadmin|fsck|balancer|zkfc

Hadoop集群如何启动相关推荐

hadoop集群正常启动，却无法访问web页面
我刚刚启动hadoop集群,启动之后发现各个节点都在啊,咋访问不了web页面,上次启动时还能访问啊. 主要是我还能上传文件到集群,也能从集群上查看文件. 我就百度,搜出来基本上都是说你防火墙没关, s ...
Hadoop集群的启动
在首次启动Hadoop之前还需要进行一些配置工作我们是在Linux集群上安装Hadoop集群 Linux中对大小写敏感! 1. 配置操作系统的环境变量注意,一说Linux操作系统的环境变量配置文 ...
Hadoop集群的启动顺序
1.启动zookeeper集群对于hadoop,使用Zookeeper的事件处理确保整个集群只有一个活跃的NameNode,存储配置信息,对于HBase,使用Zookeeper的事件处理确保整个集群 ...
大数据之-Hadoop完全分布式_集群的启动和停止方式总结---大数据之hadoop工作笔记0039
然后我们来总结一下hadoop集群的,启动停止方式可以看到上面的方法可以在一个服务器上,去停止或启动服务. 然后后面我们会用脚本,去启动 start-dfs.sh 或者 stop-dfs.sh 这个 ...
hadoop 集群启动 ERROR: Cannot write datanode pid /tmp/hadoop-user-datanode.pid. 问题的解决
ERROR: 问题产生原因 1.文件夹权限不够导致 2.磁盘空间不足 3.特殊原因(目录不可用) ERROR: 在配置好Hadoop集群后启动集群产生了如下错误: 提示在写入datanode.pid文 ...
Hadoop集群的基本操作（五：Sqoop的基本操作）
实验目的要求目的: 掌握ETL工具Sqoop的使用: 掌握MySQL和HDFS之间的数据转换: 要求: 掌握ETL工具Sqoop的使用: 能够正常操作数据库.表.数据: 实验环境五台独立 ...
Hadoop集群的基本操作（四：Hive的基本操作）
实验目的要求目的: (1)掌握数据仓库工具Hive的使用: 要求: 掌握数据仓库Hive的使用: 能够正常操作数据库.表.数据: 实验环境五台独立PC式虚拟机: 主机之间有有效的网络连接 ...
Hadoop集群的基本操作（二：HBase的基本操作）
实验目的要求目的: 1.HBase的基本应用要求: 完成HBase的高可用完全分布模式的安装: HBase的相关服务进程能够正常的启动: HBase控制台能够正常使用: 表创建.数据查询等数据 ...
Hadoop集群搭建（八：Hive的安装配置）
实验目的要求目的: (1)掌握数据仓库工具Hive的安装和配置: 要求: 完成Hive工具的安装和配置: Hive工具能够正常启动运行: Hive控制台命令能够正常使用: 能够正常操作数据库.表 ...

Hadoop集群如何启动

Hadoop集群如何启动相关推荐

最新文章

热门文章