常用ETL任务调度框架组件

1. Cron-like Scheduler

1.1 Python任务调度框架 APScheduler

一个基于Python，提供类似Cron功能，并深受Java Quartz 影响的轻量级进程内任务调度框架。

Advanced Python Scheduler (APScheduler) is a light but powerful in-process task scheduler that lets you schedule jobs (functions or any python callables) to be executed at times of your choosing.

This can be a far better alternative to externally run cron scripts for long-running applications (e.g. web applications), as it is platform neutral and can directly access your application's variables and functions.

The development of APScheduler was heavily influenced by theQuartz task scheduler written in Java. APScheduler provides most of the major features that Quartz does, but it also provides features not present in Quartz (such as multiple job stores).

https://pypi.python.org/pypi/APScheduler/

1.2 任务调度框架 cron4j

cron4j 是一个Java的任务调度框架,类似于UNIX系统下的crontab.

使用示例:

import it.sauronsoftware.cron4j.Scheduler;public class TestScheduler {public static void main(String[] args) throws Throwable {Scheduler scheduler = new Scheduler();scheduler.schedule("* * * * *", new HelloWorldTask());scheduler.start();Thread.sleep(300000); // pause the main thread for 5 minutesscheduler.stop();}
}

http://www.sauronsoftware.it/projects/cron4j/manual.php

1.3 conclusion:

(1). not web-based application

(2). need to program

(3). just only scheduler

2. Gearman分布式远程过程处理框架

2.1Outline

Gearmand 是 Gearman 的作业服务器组件，Gearman是一个分发任务的程序框架，可以用在各种场合，与Hadoop相比，Gearman更偏向于任务分发功能。它的任务分布非常简单，简单得可以只需要用脚本即可完成。Gearman最初用于LiveJournal的图片resize功能，由于图片resize需要消耗大量计算资源，因此需要调度到后端多台服务器执行，完成任务之后返回前端再呈现到界面。

作业调度服务器 Gearmand

2.2 Features

Open Source- It's free! (in both meanings of the word) Gearman has an active open source community that is easy to get involved with if you need help or want to contribute.

Multi-language- There are interfaces for a number of languages, and this list is growing. You also have the option to write heterogeneous applications with clients submitting work in one language and workers performing that work in another.

Flexible- You are not tied to any specific design pattern. You can quickly put together distributed applications using any model you choose, one of those options being Map/Reduce.

Fast- Gearman has a simple protocol and interface with a new optimized server in C to minimize your application overhead.

Embeddable- Since Gearman is fast and lightweight, it is great for applications of all sizes. It is also easy to introduce into existing applications with minimal overhead.

No single point of failure- Gearman can not only help scale systems, but can do it in a fault tolerant way.

http://gearman.org/

3 ETL open-source Scheduler: TASKCTL

TASKCTL开源版作为目前唯一的ETL调度领域开源软件，保证100% free，绝无黑盒代码。它志在促进该领域的独立发展，使调度在ETL领域独立化、专业化、系统化。从而使项目实施更轻松便捷，使企业基础架构更清晰、更易管理。

（一）主要适用环境

操作系统：aix/linux/unix等（由于采用标准c语言构建，理论上可应用与各种主流unix系列）

项目规模：适用于中小型ETL项目

ETL工具环境：TASKCTL由于采用任务插件驱动机制，因此，可支持各种存储过程、各种脚本、以及诸如Datastage\Informatica\kettle等各种ETL工具任务。

（二）主要功能

核心调度功能：主要可以完成串行、并行、依赖、互斥、执行计划、定时、容错、循环、条件分支、远程、负载均衡、自定义条件等各种不同的核心调度功能。

扩展功能

网络扩展：可实现单机部署、多服务部署、远程代理部署、集群部署等多种网络部署

应用扩展：技术平台设计有专门的应用API接口，可实现更多的调度应用。

任务类型扩展：为了适应不同类型的任务调度，平台可通过具有统一模版、统一接口的插件进行快速扩展。

应用功能：配置功能、流程设计功能、监控功能、各种查询功能以及诸如重跑、重置等人工干预功能。

(三) 主要创新

无数据库设计：国内首款专业无数据库调度技术平台。

插件机制：业界唯一通过具有统一应用接口的插件来扩展任务类型的技术平台。

流程设计代码开发设计理念：调度领域唯一通过文本代码设计流程的调度技术平台。具有语法代码特征的文本代码设计与传统记录表格对话框方式相比，操作更方便、设计更灵活、可读性更强。

http://www.taskctl.com/

常用ETL任务调度框架组件相关推荐

大数据Hadoop集群中常用的任务调度框架
在大数据的集群环境中,经常用到的任务调度框架有如下几个,根据公司的业务的需要选择适合自己的业务调度的框架, 调度框架anzkaban,crontab(Linux自带).zeus(Alibaba).Oo ...
Android 常用的第三方框架和组件
全新Android-All-Star页面已经上线,以后的更新会在此页面进行! 记一些项目中遇到的第三方组件或框架!Star and Respect All! 如果你有好的开源项目推荐或者你就是开源项目 ...
php事件和行为,Yii框架组件和事件行为管理详解
Yii框架组件和事件行为管理详解来源:中文源码网浏览: 次日期:2018年9月2日 [下载文档: Yii框架组件和事件行为管理详解.txt ] (友情提示:右键点上行txt文档名- ...
python任务调度框架_Python任务调度模块APScheduler
一.APScheduler 是什么&APScheduler四种组成部分? APScheduler全程为Advanced Python Scheduler,是一款轻量级的Python任务调度框架 ...
quartz框架_定时任务调度框架Quartz
最近需要写一个每天定点自动执行的定时任务,对于以前自己写小项目,可能会选择java自带的Timer类,但是对于公司中的项目,Timer类实现定时任务只能有一个后台线程执行任务,并且只能让程序按照某个频 ...
linux任务调度框架,任务调度框架Hangfire 简介
任务调度是我们项目中常见的功能,虽然任务调度的功能实现本身并不难,但一个好用的轮子还是可以给我们的开发的效率提升不少的. 在.net环境中,较为有名的任务调度框架是HangFire与Quartz.NE ...
CV：计算机视觉技最强学习路线之CV简介(传统视觉技术/相关概念)、早期/中期/近期应用领域(偏具体应用)、经典CNN架构(偏具体算法)概述、常用工具/库/框架/产品、环境安装、常用数据集、编程技巧
CV:计算机视觉技最强学习路线之CV简介(传统视觉技术/相关概念).早期/中期/近期应用领域(偏具体应用).经典CNN架构(偏具体算法)概述.常用工具/库/框架/产品.环境安装.常用数据集.编程技巧 ...
XXL-Job分布式任务调度框架-- 介绍和调度中心的搭建启动1
一 xxl-job介绍 1.1 xxl-job介绍 xxl-job是轻量级的分布式任务调度框架,目标是开发迅速.简单.清理.易扩展; 老版本是依赖quartz的定时任务触发,在v2.1.0版本开始移 ...
Android 进阶技术汇总二：流行框架组件方案汇总
前言:应用框架组件概述: 主要介绍移动应用开发涉及推送.语音识别.音视频.图片.地图.定位.广告接入.后台统计分析.HTTP通信.分享.支付.数据解析.序列化.消息总线等 WebApp Cordov ...

常用ETL任务调度框架组件

常用ETL任务调度框架组件相关推荐

最新文章

热门文章