调度系统对比 azkabanairFlowOoziezeusrundeck


	azkaban	airFlow	Oozie	zeus	rundeck

背景	Azkaban是由Linkedin开源的一个批量工作流任务调度器。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。	airflow是Airbnb开源出托管于托管在Apache基金会的,通过python定义作业	Oozie目前是托管在Apache基金会的，开源。通过XML文件来定义DAG依赖	阿里开源的基于Hadoop平台的开源工作流调度系统，使用java开发语言	RunDeck 是用 Java/Grails 写的开源工具，帮助用户在数据中心或者云环境中自动化各种操作和流程。通过命令行或者web界面，用户可以对任意数量的服务器进行操作，大大降低了对服务器自动化的门槛。


调度策略	√	√	√	√	√
作业异常处理	√	√		√	√
作业告警	√	√	√	√	√
监控、审计	√	√		√	√
可扩展性	√			×
权限管理	√		×		×
易用性	√
作业编排	√	√	√	√	串行

开发语言	java	python		java	java

依赖组件	mysql数据库	mysql数据库、python2.7	mysql数据库	mysql数据库、tomcat	mysql数据库

作业配置方式	command、shell、hadoop、java	python 脚本	xml方式	command、shell	command、shell、hadoop

缺点	UI界面无法直接添加作业	python脚本配置作业，学习成本高，项目孵化中	UI界面不直观，作业配置复杂，无法通过界面启动任务	已经不在维护，文档缺失	作业依赖线性，没有清晰的DAG图
优点	与Hadoop生态圈结合紧密,分布式，DAG依赖比较直观，提供可操作的UI界面，公共变量可配置	与Hadoop生态圈结合紧密,分布式，DAG依赖比较直观，提供可操作的UI界面	与Hadoop生态圈结合紧密,开源早比较成熟,可以集成到hue中	友好的界面显示、全中文，分布式，具有任务统计报表功能，配置简单	单机部署，分布式指令执行，可以设置作业预期执行时间，适合运维使用

调度系统对比 azkabanairFlowOoziezeusrundeck相关推荐

工作流调度系统介绍，常见工作流调度系统对比，azkaban与Oozie对比，Azkaban介绍与特性（来自学习笔记）
1. 工作流调度器azkaban 1.1 概述 1.1.1为什么需要工作流调度系统一个完整的数据分析系统通常都是由大量任务单元组成:shell脚本程序,java程序,mapreduce程序.hive ...
Borg/Mesos/Yarn三大主流资源管理与调度系统对比
0. 前言 Mesos(Twitter).YARN(apache)和Borg(google)三个资源管理与调度系统可以说是目前资源管理和调度系统的先导者,现有的大多数资源管理和调度系统都从这三个系统中 ...
Apache DolphinScheduler 大数据工作流调度系统
[本文正在参与 "拥抱开源 - Apache DolphinScheduler 有奖征稿活动],活动地址 Apache DolphinScheduler 大数据工作流调度系统一.背景二. ...
ETL调度系统及常见工具对比：azkaban、oozie、数栖云 | 数澜科技
最近遇到了很多正在研究ETL及其工具的同学向我们抱怨:同样都在用 Kettle ,起点明明没差异,但为什么别人ETL做的那么快那么好,自己却不断掉坑? 其实,类似于像 Kettle 这样开源的工具,已 ...
专访腾讯云沙开波：从无到有，打造全球领先调度系统
\\ "以前每个周末都去跑跑步.打打球,现在回家就是接接小孩,随着年龄的增长,很多爱好都丢了." \\\\ 沙开波--腾讯云计算产品总监,从一名基础架构组的程序员,到如今腾讯云计算 ...
进击的 Kubernetes 调度系统（一）：Kubernetes scheduling framework
作者 | 王庆璨(阿里云技术专家).张凯(阿里云高级技术专家) 导读:阿里云容器服务团队结合多年 Kubernetes 产品与客户支持经验,对 Kube-scheduler 进行了大量优化和扩展,逐步 ...
首次公开！菜鸟弹性调度系统的架构设计
阿里妹导读:菜鸟方舟(ark)是面向菜鸟所有研发的资源管理和运维平台,负责对菜鸟的基础设施资源进行管控,以支撑日常和大促的资源需求.弹性调度是菜鸟方舟的一个重要组成部分,也是方舟的一个重要的功能特性. ...
Linux调度系统全景指南(终结篇)
点击上方蓝字关注公众号,更多经典内容等着你 | 导语本文主要是讲Linux的调度系统, 本篇是终结篇,主要讲当前多核系统调度策略和调度优化,调度可以说是操作系统的灵魂,为了让CPU资源利用最大化,Li ...
进击的Kubernetes调度系统（一）：SchedulingFramework
作者:王庆璨张凯前言 Kubernetes已经成为目前事实标准上的容器集群管理平台.它为容器化应用提供了自动化部署.运维.资源调度等全生命周期管理功能.经过3年多的快速发展,Kubernetes在 ...

调度系统对比 azkabanairFlowOoziezeusrundeck

调度系统对比 azkabanairFlowOoziezeusrundeck相关推荐

最新文章

热门文章