六十二、Azkaban使用示例
上一篇文章我们简单介绍了一下Azkaban以及怎样安装部署Azkaban,本文我们通过几个案例来看一下怎样使用Azkaban。关注专栏《破茧成蝶——大数据篇》,查看更多相关的内容~
目录
一、Azkaban调度单一job
二、Azkaban调度有依赖关系的多个job
三、Azkaban调度Java程序
四、Azkaban调度MapReduce任务
一、Azkaban调度单一job
1、创建job文件
type=command
command=echo 'This is first Azkaban job.'
这里需要注意的是, job文件的后缀必须为.job,且需要将保存好的文件压缩成.zip格式,作业名称在项目中必须是唯一的。
2、启动Azkaban,并创建Project。
3、点击upload上传压缩包。
4、压缩包没有问题,可以在MySQL中看到相关的job信息。
5、点击Schedule,配置定时任务。
6、可以在此处设置执行的日期等参数。
7、执行job,绿色代表执行成功。
二、Azkaban调度有依赖关系的多个job
1、首先需要编写几个具有依赖关系的job,如下所示:
1、first.jobtype=command
command=echo 'This is first Azkaban job.'2、second.jobtype=command
command=echo 'This is second Azkaban job.'
dependencies=first3、third.jobtype=command
command=echo 'This is third Azkaban job.'
dependencies=first4、fouth.jobtype=command
command=echo 'This is fouth Azkaban job.'
dependencies=second,third
并将编辑好的job文件压缩成一个zip文件。
2、创建项目并上传压缩包
3、执行
4、在对应目录查看log信息以及job信息
三、Azkaban调度Java程序
1、编写Java程序并打包
package com.xzw.azkaban;import java.io.FileOutputStream;/*** @author: xzw* @create_date: 2021/4/28 8:33* @desc:* @modifier:* @modified_date:* @desc:*/
public class JavaJob {public static void main(String[] args) throws Exception {FileOutputStream fos = new FileOutputStream("/opt/modules/azkaban/files/javajob.job");fos.write("This is a Java job!".getBytes());fos.close();}
}
2、编写job文件
type=javaprocess
java.class=com.xzw.azkaban.JavaJob
classpath=./azkaban.jar
3、将job文件和jar包压缩到同一个zip文件中
4、在Azkaban监控界面新建项目,上传文件并执行
5、查看执行结果
四、Azkaban调度MapReduce任务
1、创建job文件并压缩成zip文件
type=command
command=/opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/bin/hadoop jar /opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /xzw/input /xzw/output
2、上传并测试
我们可以通过后台查看输出的文件:
以上就是本文的所有内容,比较简单。你们在此过程中遇到了什么问题,欢迎留言,让我看看你们都遇到了哪些问题~
六十二、Azkaban使用示例相关推荐
- linux i2c adapter 增加设备_「正点原子Linux连载」第六十二章Linux SPI驱动实验(一)...
1)实验平台:正点原子Linux开发板 2)摘自<正点原子I.MX6U嵌入式Linux驱动开发指南>关注官方微信号公众号,获取更多资料:正点原子 第六十二章Linux SPI驱动实验 上一 ...
- 【正点原子Linux连载】第六十二章 Linux SPI驱动实验 -摘自【正点原子】I.MX6U嵌入式Linux驱动开发指南V1.0
1)实验平台:正点原子阿尔法Linux开发板 2)平台购买地址:https://item.taobao.com/item.htm?id=603672744434 2)全套实验源码+手册+视频下载地址: ...
- 第六十二章 SQL命令 OPEN
文章目录 第六十二章 SQL命令 OPEN 大纲 参数 描述 示例 第六十二章 SQL命令 OPEN 打开游标. 大纲 OPEN cursor-name 参数 cursor-name - 游标的名称, ...
- 第六十二章 SQL函数 HOUR
文章目录 第六十二章 SQL函数 HOUR 大纲 描述 示例 第六十二章 SQL函数 HOUR Time函数,它返回DateTime表达式的小时数. 大纲 {fn HOUR(time-expressi ...
- JavaScript学习(六十二)—解析选项和序列化选项
JavaScript学习(六十二)-解析选项和序列化选项 一.解析选项 格式:JSON.parse(参数1,参数2); 参数说明 参数1:表示要转换为JS对象的json字符串 参数2:表示将json转 ...
- 问题六十二:怎么求一元十次方程在区间内的所有不相等的实根(2)——修正“区间端点零值”问题
前续"问题六十二:怎么求一元十次方程在区间内的所有不相等的实根"和"问题五十九:怎么求一元六次方程在区间内的所有不相等的实根(3)--修正一个问题" 不管是求解 ...
- 信息系统项目管理师必背核心考点(六十二)项目组合治理主要过程
科科过为您带来软考信息系统项目管理师核心重点考点(六十二)项目组合治理的主要过程,内含思维导图+真题 [信息系统项目管理师核心考点]项目组合治理的主要过程 1.注定项目组合管理计划 2.定义项目组合 ...
- 面渣逆袭:三万字,七十图,详解计算机网络六十二问(收藏版)
大家好,我是老三,开工大吉,虎年第一篇,面渣逆袭系列继续! 这次给大家带来了计算机网络六十二问,三万字,七十图详解,大概是全网最全的网络面试题. 建议大家收藏了慢慢看,新的一年一定能够跳槽加薪,虎年& ...
- 面渣逆袭:计算机网络六十二问,三万字图文详解!速收藏!
这次给大家带来了计算机网络六十二问,三万字,七十图详解,大概是全网最全的网络面试题. 基础 1.说下计算机网络体系结构 计算机网络体系结构,一般有三种:OSI 七层模型.TCP/IP 四层模型.五层结 ...
- 【Microsoft Azure 的1024种玩法】六十二.利用Azure Private DNS 实现虚拟网络中域名的管理解析
[简介] Azure Private DNS是Azure为我们虚拟网络提供的安全可靠的DNS服务,我们无需自行配置DNS即可在虚拟网络中实现域名的解析及配置, 于此同时,我们在内网中也可以利用自己的自 ...
最新文章
- Json的序列化和反序列化
- 网管日志-06.08.18
- [1204 寻找子串位置] 解题报告
- 通过btrace排查线上频繁Full GC的case 1
- jdk8和hotspot_HotSpot的-XshowSettings标志的简单性和价值
- iPhone 13的新对手?小米历史上最好看的手机即将发布
- -lavutil -lavcodec -lavdevice -lavfilter -lavformat链接失败,换用-lffmpeg
- c++字符串相等比较 char* char[] string
- 网络流最大流分配(附python源码)
- EasyPR如何添加绿牌C++版
- 魔兽代理又起风云:网易暴雪腾讯的利益博弈
- LTK5328内置自适应升压带PBTL模式_2X8W双声道音频功率放大器
- 加盟店 -- 祖坟刨干记
- python读取word指定内容_Python操作word
- 灰灰考研机试班 | 基础练习二 问题 B: 日历本 | 入门题-模拟 | 日期、星期相关计算
- CGCS2000 平面坐标系转大地坐标系
- 甘超波:什么是个人定位
- BMP与JPG图片格式的互相转换
- Python生成英文词云图
- Android检查GPU呈现模式和过度绘制
热门文章
- 知道吗,这些IT岗位特别适合不爱敲代码的你
- Vue3.x v-html绑定html
- python项目实战(一):购物商城(采用面向过程思想开发)
- Python正则表达式匹配C语言函数
- MultipartFile的使用:
- SLAM 轨迹评估工具EVO
- oracle数据库应用与实践课件,Oracle数据库管理、开发与实践 教学课件 作者 杨永健 刘尚毅 第6章 PL SQL编程.ppt...
- Dev-C++同时编译多个C或C++文件
- Elasticsearch极速入门
- eclipse设置console不自动弹出