调度工具之Azkaban 介绍
Azkaban is a batch workflow job scheduler created at LinkedIn to run Hadoop jobs. Azkaban resolves the ordering through job dependencies and provides an easy to use web user interface to maintain and track your workflows.
Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，主要以JAVA语言开发，用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。
Features
## Compatible with any version of Hadoop
## Easy to use web UI
## Simple web and http workflow uploads
## Project workspaces
## Scheduling of workflows
## Modular and pluginable
## Authentication and Authorization
## Tracking of user actions
## Email alerts on failure and successes
## SLA alerting and auto killing
## Retrying of failed jobs
特性
与任何版本的Hadoop兼容
易于使用的web UI
简单的web和http工作流上传
项目工作区
工作流的调度
模块化和可插拔
身份验证和授权
跟踪用户操作
关于失败和成功的电子邮件警报
SLA警报和自kill机制
重试失败的作业
调度工具之Azkaban 介绍相关推荐
- 工作流调度系统介绍，常见工作流调度系统对比，azkaban与Oozie对比，Azkaban介绍与特性（来自学习笔记）
1. 工作流调度器azkaban 1.1 概述 1.1.1为什么需要工作流调度系统 一个完整的数据分析系统通常都是由大量任务单元组成:shell脚本程序,java程序,mapreduce程序.hive ...
- 常用调度工具Oozie、Azkaban、Airflow总结
调度的意义: 调度时一个项目中必不可少的,项目中一般都会包括程序.hive脚本等多任务,我们一般把任务写到shell脚本中,最后通过调度工具把所有的任务串起来. airflow是一个可编程的工作流调度 ...
- 主流大数据调度工具对比(DolphinScheduler特点)
大数据环境下,调度工具比不可少,离线批任务和准实时任务都需要调度去驱动.下文介绍主流大数据调度工具对比DolphinScheduler .Azkaban.Airflow.Oozie.Xxl-job A ...
- 工作流调度系统Apache DolphinScheduler介绍和设计原理
1 概述 Apache DolphinScheduler(目前处在孵化阶段)是一个分布式.去中心化.易扩展的可视化DAG工作流任务调度系统,其致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数 ...
- 主流大数据调度工具对比
大数据环境下,调度工具比不可少,离线批任务和准实时任务都需要调度去驱动.下文介绍主流大数据调度工具对比DolphinScheduler .Azkaban.Airflow.Oozie.Xxl-job 非 ...
- 调度工具（ETL+任务流）
1.区别ETL作业调度工具和任务流调度工具 kettle是一个ETL工具,ETL(Extract-Transform-Load的缩写,即数据抽取.转换.装载的过程). kettle中文名称叫水壶,该项 ...
- Apache DolphinScheduler征稿 — 小Demo轻松入门DolphinSchedule大数据调度工具
文章目录 官方文档 | [GitHub源码](https://github.com/apache/dolphinscheduler) 一.从实际需求入手,我们为何要选择使用DolphinSchched ...
- Airflow调度工具简介和使用
Airflow是airbnb家的基于DAG(有向无环图)的任务管理系统, 最简单的理解就是一个高级版的crontab.它解决了crontab无法解决的任务依赖问题. 本文将介绍 Airflow 这一款 ...
- 调度工具Rundeck安装使用
调度工具Rundeck 1.常用的调度工具:crontab.azkaban.rundeck.xxl_job 2.部署rundeck(先部署好满足版本要求的java) a.下载:rundeck. ...
- Xamarin Anroid开发教程之Anroid开发工具及应用介绍
Xamarin Anroid开发教程之Anroid开发工具及应用介绍 Xamarin开发Anroid应用介绍 如今智能手机已经盛行了好几年,而针对这些智能手机的软件开发也变得异常火热.但是在Andro ...
最新文章
- 导航条——收缩式导航菜单
- Objective C浅拷贝和深拷贝
- iOS-----程序异常处理----- 断言NSAssert()和NSParameterAssert区别和用处
- Java对存储过程的调用方法
- SQL SERVER2000教程-第五章 处理数据 第十三节 设定数字日期格式
- 【C语言】用函数实现两个数排序（指针作函数参数）
- java glassfish_java - Tomcat，JBoss和Glassfish有什么区别？
- Openresty 安装、源码编译，增加WAF模块naxsi
- Aititi 特征点检测算法与匹配的前世今生与历史传承attilax总结v4
- 手机上可以编程看代码的软件
- R语言超星学习通习题
- itext7 java转pdf添加图片
- 高通see架构ppg测试流程sns_client_test_cpp
- 神经网络第一篇——感受野的学习、计算与思考
- 01redis安装及入门(含阿里云服务器出现的问题)
- 安装ROS（kinetic）详细教程
- 一起变装吧服务器维护,影之诗12月28日服务器维护 版本更新详细内容汇总
- 机器学习中的数据归一化、最值归一化、均值方差归一化（标准化）
- 【一】数字图像的常见概念
- TPAMI 2022｜基于最优传输理论的无监督图像重建学习