77.Oozie的HA启用

77.1 演示环境介绍

RedHat版本：7.3
CM和CDH版本：5.13.1
已启用Kerberos

77.2 操作演示

在集群中选择一台服务器作为OozieServer高可用节点
- 安装Mysql驱动

[root@ip-186-31-30-69 ~]# mkdir /usr/share/java
[root@ip-186-31-30-69 ~]# scp mysql-connector-java-5.1.34.jar /usr/share/java

创建MySQL驱动的软链

[root@ip-186-31-30-69 ~]# cd /usr/share/java/
[root@ip-186-31-30-69 java]# ln -s mysql-connector-java-5.1.34.jar mysql-connector-java.jar

安装Haproxy并配置oozie server：

#---------------------------------------------------------------------
# Example configuration for a possible web application.  See the
# full configuration options online.
#
#   http://haproxy.1wt.eu/download/1.4/doc/configuration.txt
#
#---------------------------------------------------------------------
#---------------------------------------------------------------------
# Global settings
#---------------------------------------------------------------------
globallog         127.0.0.1 local2chroot      /var/lib/haproxypidfile     /var/run/haproxy.pidmaxconn     4000user        haproxygroup       haproxydaemon# turn on stats unix socketstats socket /var/lib/haproxy/stats
#---------------------------------------------------------------------
# common defaults that all the 'listen' and 'backend' sections will
# use if not designated in their block
#---------------------------------------------------------------------
defaultsmode                    httplog                     globaloption                  httplogoption                  dontlognull#option http-server-close#option forwardfor       except 127.0.0.0/8option                  redispatchretries                 3timeout http-request    10stimeout queue           1mtimeout connect         10stimeout client          1mtimeout server          1mtimeout http-keep-alive 10stimeout check           10smaxconn                 3000
listen statsbind 0.0.0.0:1080mode httpoption httplogmaxconn 5000stats refresh 30sstats  uri /stats
listen ooziebalancerbind 0.0.0.0:11001mode tcpoption tcplogbalance leastconnserver ip-186-31-30-69.ap-southeast-1.compute.internal ip-186-31-30-69.ap-southeast-1.compute.internal:11000 checkserver ip-186-31-16-68.ap-southeast-1.compute.internal ip-186-31-16-68.ap-southeast-1.compute.internal:11000 check

启用Oozie服务HA
- 管理员登录CM界面，进入oozie服务
- 启用High Availability
- 选择已安装MySQL驱动的节点作为Oozie Server
- 填写Oozie HA时使用的Load Balancer地址（这里就是Haproxy服务所在地址）
  - ip-186-31-16-68.ap-southeast-1.compute.internal:11002
- 启用Oozie的High Availability

总结

集群的元数据存在在外部数据库MySQL中，在部署Oozie服务的节点需要安装MySQL的JDBC驱动
Oozie启用高可用时需要使用Haproxy或Keepalived等方式实现Oozie服务的高可用，这里使用Haproxy方式实现
Load Balancer配置为Haproxy服务所在host及监听的11002端口

大数据视频推荐：
CSDN
大数据语音推荐：
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能：深度学习入门到精通

77.Oozie的HA启用相关推荐

hadoop HA 之 QJM
前言本文主要通过对hadoop2.2.0集群配置的过程加以梳理,所有的步骤都是通过自己实际测试.文档的结构也是根据自己的实际情况而定,同时也会加入自己在实际过程遇到的问题.搭建环境过程不重要,重要点 ...
hdfs 备份数配置_大数据||HDFS HA配置详解
根据HA架构图,规划HA的分布式集群服务器 HA集群规划配置参考图根据官方文档配置HA 部分说明 Architecture 在典型的ha集群中,两台独立的机器被配置为namenode.在任何时间点 ...
Oozie 3.3.1安装
软件安装路径软件名称版本安装路径 jdk 1.6.0_12 /usr/java/jdk1.6.0_12 maven 3.1.0 /usr/local//apache-maven-3.1.0 Oo ...
002.Heartbeat部署及httpd高可用
一前期准备 1.1 依赖准备编译安装需要依赖的包,如gcc等: yum -y install gcc gcc-c++ make glibc kernel-devel kernel-headers ...
转储sql文件_在Linux上SQL Server中更改SQL转储文件位置
转储sql文件 In this article, we will talk about SQL Dump files and the process to change the dump direct ...
恶意软件分析诀窍与工具箱——对抗“流氓”软件的技术与利器
为什么80%的码农都做不了架构师?>>> 基本信息作者: (美)Michael Hale Ligh Steven Adair Blake Hartstein ...
第3章安装和配置vCenter Server
第3章安装和配置vCenter Server 在当今大多数信息系统中,客户端-服务器体系结构是至高无上的.这种立场是因为客户端-服务器体系结构可以集中资源管理,并为最终用户和客户端系统提供对这些资源的 ...
vsphere高可用
减少计划停止时间,放置计划外的停止时间,维护业务的连续性 **计划类停止时间:**设备的硬件的维护,旧的服务器淘汰,服务器的硬件升级,有些组件可以支持热插拔,但有些是不支持的,比如说主板损坏,得停机, ...
DolphinScheduler安装部署
文章目录 1.安装环境及软件准备 1.1环境 2.准备工作 3.安装DolphinScheduler 3.1DolphinSchedule源数据库配置 3.2DolphinScheduler配置及安装 ...

77.Oozie的HA启用

77.1 演示环境介绍

77.2 操作演示

77.Oozie的HA启用相关推荐

最新文章

热门文章