1. 流程控制组件

流程控制（也称工作流、任务流）是 ETL 重要的组成部分，通常是以 DAG 的方式配置，每次调用都会沿着有向无环图从前往后依次执行直至最后一个任务完成。

流程控制可以在 ETL 工具内配置，也可以在调度系统配置。传统 ETL 工具基本上都是单机版的，如果 ETL 的任务节点分布在多个服务器上，整体的流程依赖就会变的复杂起来（跨服务器的调度无法解决，就只剩下两种方法了：预估前置依赖完成时间、监控前置依赖运行状态比如将运行状态写入数据库等），这时候使用调度工具里的流程控制功能就是最优解。

2. Hudson

Hudson 是一个可扩展的持续集成引擎，是 SUN 公司时期就有的 CI 工具，后来因为 ORACLE 收购 SUN 之后的商标之争，创始人 KK 搞了新的分支叫 Jenkins 。今天的Hudson还在由ORACLE 持续维护，但风头已经远不如社区以及CloudBees 驱动的 Jenkins。

主要用于：

持续、自动地构建/测试软件项目，如 CruiseControl 与 DamageControl。
监控一些定时执行的任务。

</

数据仓库流程控制组件相关推荐

数据仓库流程架构（一）
数据仓库流程&架构(一) 定义数据仓库是逻辑上的概念,是一个数据集合. 数据仓库中的数据有这两个特点: - 最全的历史数据(海量): - 相对稳定的:不同于业务系统数据库,数据经常会被更新. ...
数据仓库流程和代码说明
2019独角兽企业重金招聘Python工程师标准>>> 数据源:业务数据库,如:mysql,埋点数据(XA分发到kafka的topic-->flume-->hdfs--- ...
六、数据仓库详细介绍（ETL）方法篇
0x00 前言上文我们把数据仓库类比我们人类自身,数据仓库"吃"进去的是原材料(原始数据),经过 ETL 集成进入数据仓库,然后从 ODS 开始逐层流转最终供给到数据应用,整个数 ...
数据库和数据仓库的区别
简而言之,数据库是面向事务的设计,数据仓库是面向主题设计的. 数据库一般存储在线交易数据,数据仓库存储的一般是历史数据. 数据库设计是尽量避免冗余,一般采用符合范式的规则来设计,数据仓库在设计是有意引 ...
大数据分析必不可少之数据仓库
数据分析过程的主要活动由识别信息需求.收集数据.分析数据.评价并改进数据分析的有效性组成. 数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support).数据仓 ...
数据库和数据仓库
文章目录一.数据库三范式: 二.数据模型两个模式应用场景总结三.ETL(数据仓库技术): 四.数据仓库概念概念特点脏数据怎么处理用途五.数据仓库的架构六.数据仓库的相关技术数 ...
数据仓库知识与实战——电信运营商数仓建模
作者:网舟科技--王超什么是数据仓库数据仓库是为企业提供聚合,存储,投递,以及提供决策支持能提,数据仓库包含广泛数据并按照主题进行存储并且是在数据仓库流程过程中的一个部分.Willianm(Bil ...
数据库与数据仓库的区别
简而言之,数据库是面向事务的设计,数据仓库是面向主题设计的. 数据库一般存储在线交易数据,数据仓库存储的一般是历史数据. 数据库设计是尽量避免冗余,一般采用符合范式的规则来设计,数据仓库在设计是有意引 ...
数据仓库和数据库有什么区别和联系？
数据仓库和数据库有什么区别和联系? 简而言之,数据库是面向事务的设计,数据仓库是面向主题设计的. 数据库一般存储在线交易数据,数据仓库存储的一般是历史数据. 数据库设计是尽量避免冗余,一般采用符合范式 ...

数据仓库流程控制组件

1. 流程控制组件

2. Hudson

</

数据仓库流程控制组件相关推荐

最新文章

热门文章