数据仓库的数据体系和数据加工链路

2024-06-23 00:36:10

数据仓库的数据体系和数据加工链路

1. 数据体系

数据仓库的数据体系主要分为数据采集、数据计算、数据服务和数据应用。
1）数据采集层数据采集体系包括web端日志采集技术方案和app端日志采集技术方案。数据采集分为日志采集和数据库数据同步两部分。对大数据系统而言，数据同步指数据从业务系统同步进入数据仓库和数据从数据仓库同步进入数据服务和数据应用两个方面。
2）数据计算层
数据计算层包括Maxcompute离线计算平台、Streamcompute实时计算平台、Onedata数据整合及管理体系。从数据计算频率的角度，数据仓库可以分为离线数据仓库和实时数据仓库。离线数据仓库主要是指传统的数据仓库的概念数据计算频率主要以天（包括小时、周、月）为单位；
3）数据服务层:当数据已被整合和计算好之后，需要提供给产品和应用进行数据消费。数据服务可以使应用对底层数据存储透明，将海量数据方便高效开放给应用使用。
数据服务层对外提供数据服务主要通过统一的数据服务平台，数据服务平台以数据仓库整合计算好的数据作为数据源，主要提供数据查询服务、复杂数据查询服务和实时数据推送服务。
4）数据应用层
数据应用表现在搜索、推荐、广告、金融等。

2.数据加工链路

数据加工链路：
stg（卸数区）、
odm（操作数据层）、idm（整合明细层）、sdm（共性加工层）。
公共层建设包括操作数据存储层ODM层、整合明细曾IDM层和公共明细层SDM层。

数据仓库的数据体系和数据加工链路相关推荐

有别于BATJ，滴滴的中台数据体系建设怎么另辟蹊径？
来自:DBAplus社群本文根据张茂森老师在[2019 DAMS中国数据智能管理峰会]现场演讲内容整理而成. 讲师介绍张茂森,滴滴首席工程师,负责滴滴数据平台建设和数据产品商业化工作.致力于企业级 ...
数据仓库物理分层_大数据之数据仓库分层
大数据之数据仓库分层什么是数据分层? 数据分层的好处一种通用的数据分层设计举例各层会用到的计算引擎和存储系统分层实现数据分层的一些概念说明 7.大数据相关基础概念 1. 什么是数据分层? ...
商圈生产展示数据体系购物圈居住圈工作圈POI商圈
通常,多个商场.购物中心聚集或超大型独立商业体都会形成一定的商业聚集效应,他们集中了区域范围内的商业价值,把握着城市商业的热度风向,呈现出别具风格的商业面貌,形成人气旺盛的购物商圈. 我们在使用智图全 ...
数据中台=大数据平台+数据资产管理平台+数据服务平台
数据中台到底是什么?几年过去了,也一直众说纷纭. 笔者认为数据中台不应该是一个单纯的系统或者是一个软件工具,而应该是一套架构.一套数据流转模式. 数据中台需要采集数据作为原材料进行数据加工.数据建模, ...
月均数据_月均收入15k的数据产品经理=数据+产品经理？
现在,越来越多的招聘岗位要求产品经理会数据分析.甚至有公司更加过分,直接发出招聘岗位:诚招"数据策略经理". 数据策略经理到底是怎样的存在? 带着好奇,找到了对数据策略经理的岗位职 ...
数据产品经理=数据+产品经理？
最近被数据策略经理刷屏了,越来越多的招聘岗位要求产品经理会数据分析.甚至有公司更加过分,直接发出招聘岗位:诚招"数据策略经理". 数据策略经理到底是怎样的存在? 带着好奇,找到了对 ...
数据仓库amp;数据指标amp;数据治理体系搭建方法论
数据仓库的基本概念数据仓库概念英文名称为Data Warehouse,可简写为DW或DWH.数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support).它 ...
大数据理论体系总结--数据仓库管理与全链路数据体系
前言就这样,大数据领域蓬勃发展了好几年,有很多伙伴执迷于技术,成为了分布式计算与存储的领域专家.也有很多伙伴执迷于数据,成为了行业的数据研发专家.当然还有很多小伙伴,热衷于工具系统开发,成为了数据技 ...
大数据体系构建数据仓库
大数据时代,数据仓库向大数据体系升级换代很常见,也是个不错的机会.如果是想系统研究大数据体系的数据仓库设计,个人比较推荐滴滴(前)架构师的视频分享课:http://t.cn/EJ07vua主要是干货比 ...

最新文章

热门文章