什么是大数据的ETL

1、ETL的定义

ETL分别是“Extract”、“ Transform” 、“Load”三个单词的首字母缩写也就是“抽取”、“转换”、“装载”，但我们日常往往简称其为数据抽取。

ETL是BI/DW（商务智能/数据仓库）的核心和灵魂，按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。

ETL包含了三方面：

“抽取”：将数据从各种原始的业务系统中读取出来，这是所有工作的前提。

“转换”：按照预先设计好的规则将抽取得数据进行转换，使本来异构的数据格式能统一起来。

“装载”：将转换完的数据按计划增量或全部导入到数据仓库中。

2、为什么需要ETL？

因为目前运行的应用系统是用户花费了很大精力和财力构建的、不可替代的系统，尤其系统中的数据是非常之宝贵。但由于不同原始数据库中的数据的来源、格式不一样，导致了系统实施、数据整合出现问题。ETL就是用来解决这一问题的。

什么是大数据的ETL相关推荐

Data Lake Analytics，大数据的ETL神器！
Data Lake Analytics(简称DLA)介绍数据湖(Data Lake)是时下大数据行业热门的概念:https://en.wikipedia.org/wiki....基于数据湖做分析,可 ...
玩转人工智能（11）大数据的ETL和人工智能的EDA
1.Extract-Transform-Load的缩写,数据抽取(Extract).转换(Transform).装载(Load)的过程. Extract 设计原则为提高ETL效率,数 ...
大数据测试之ETL测试
一.什么是ETL ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract).交互转换(transform).加载(load)至目的端的过程 ...
大数据测试之ETL测试入门
概述在我们学习ETL测试之前,先了解下business intelligence(即BI)和数据仓库. 什么是BI? BI(Business Intelligence)即商务智能,它是一套完整的解决 ...
oracle 加载数据戽_走进大数据丨 ETL - Load（数据加载）
LOAD 加载经转换和汇总的数据到目标数据仓库中,可实现SQL或批量加载数据加载(Load) 经过数据转换生成的文件的结构与数据仓库数据表的结构完全一致,可以直接通过数据加载工具,以Bulk Load ...
大数据领域可以应聘的岗位
大数据开发工程师大数据架构师 HADOOP工程师大数据挖掘工程师大数据分析师 ETL挖掘工程师大数据管理 SPARK开发工程师
恒丰银行基于大数据平台构建数据仓库的研究与实践
恒丰银行原传统数据仓库是建立在IOE(IBM.ORACLE.EMC)传统架构体系上,已接入数据源系统有30多个,配套建立监管数据集市.数据分析集市,风险数据集市三个主要数据集市,负责十几个管理应用和监 ...
成都大数据Hadoop与Spark技术培训班
成都大数据Hadoop与Spark技术培训班中国信息化培训中心特推出了大数据技术架构及应用实战课程培训班,通过专业的大数据Hadoop与Spark技术架构体系与业界真实案例来全面提升大数据工程师.开 ...
智慧校园大数据云平台（1）
目录第1章建设思路和建设目标 1.1. 总体建设内容概述 1.2. 总体建设理念 1.2.1. 搭平台 1.2.2. 定标准 1.2.3. 上应用 1.2.4. 成体系 1.2.5. 集中管 1. ...

什么是大数据的ETL

什么是大数据的ETL相关推荐

最新文章

热门文章