1.什么是SCD（Type 2 Slowly changing dimension）？SCD用来解决什么问题？

类型二缓慢变化维度（拉链表）：维护历史状态，以及最新状态数据的一种表，拉链表根据拉链粒度的不同，实际上相当于快照，只不过做了优化，去除了一部分不变的记录，通过拉链表可以很方便的还原出拉链时间点的客户记录。

在数据仓库的数据模型设计过程中，经常会遇到这样的需求：

数据量比较大;
表中的部分字段会被update,如用户的地址，产品的描述信息，订单的状态等等;

需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态，
比如，查看某一个用户在过去某一段时间内，更新过几次等等;
变化的比例和频率不是很大，比如，总共有1000万的会员，每天新增和发生变化的有10万左右;

如果对这边表每天都保留一份全量，那么每次全量中会保存很多不变的信息，对存储是极大的浪费;

举个简单例子，比如有一张订单表,6月20号有3条记录：

到6月21日，表中有5条记录：

到6月22日，表中有6条记录：

数据仓库中对该表的保留方法：

1. 只保留一份全量，则数据和6月22日的记录一样，如果需要查看6月21日订单001的状态，则无法满足；

2. 每天都保留一份全量，则数据仓库中的该表共有14条记录，但好多记录都是重复保存，没有任务变化，如订单002,004，数据量大了，会造成很大的存储浪费；

如果在数据仓库中设计成历史拉链表保存该表，则会有下面这样一张表：

说明：

1. dw_begin_date表示该条记录的生命周期开始时间，dw_end_date表示该条记录的生命周期结束时间；

2. dw_end_date = '9999-12-31'表示该条记录目前处于有效状态；

3. 如果查询当前所有有效的记录，则select * from order_his where dw_end_date = '9999-12-31'

4. 如果查询2012-06-21的历史快照，则select * from order_his where dw_begin_date <= '2012-06-21' and end_date >= '2012-06-21'，这条语句会查询到以下记录：

和源表在6月21日的记录完全一致：

可以看出，这样的历史拉链表，既能满足对历史数据的需求，又能很大程度的节省存储资源；

2.数据开发平台SCD节点定义

数据开发平台SCD节点目前支持【初始化拉链表】和【拉链表增量更新】两类操作。

配置项：

1）选择input，input包含1个或多个分组字段，0或1个日期字段以及一个或多个状态字段

选择分组字段：可指定1个或多个分组字段，该字段必须在input表与目标表内均存在。
选择日期字段：指定一个日期字段或选择无时间戳

选择状态字段：指定需要更新的状态字段
添加自定义列（可选）：选择需要添加的自定义列及输入值（支持参数）

2）选择目标表，选定一个数据库表，该目标表需要有跟input表一致的分组字段与状态字段，以及状态的起止日期

选择分组字段：可指定1个或多个分组字段，该字段必须在input表与目标表内均存在。
选择起始日期字段：指定一个日期字段为起始日期

选择结束日期字段：指定一个日期字段为结束日期
选择状态字段：指定需要更新的状态字段

3）增量更新支持选择更新关注时间为前一天还是当天

2.数据开发平台是如何实现SCD节点的初始化和增量更新

目前SCD节点是以【日】级别的粒度对输入数据进行的初始化和增量更新操作。

（1）初始化逻辑

先清空目标表
获取输入数据，根据输入创建对应的临时表，将输入数据写入到临时表中
1. 筛选临时表中的数据，将其中日期字段的值大于运行时间的数据清理掉
2. 根据分组字段和时间字段将数据进行开关链操作，对于同一天出现的多条数据，根据时间戳排序后合并成一条数据再参与运算，最后将处理后的数据插入到目标表中

（2）增量更新逻辑

获取输入数据，将输入数据执行一遍初始化逻辑的操作，输出一个初始化完成的SCD表，记【输出数据A】
检查目标表中是否有更新关注时间的增量更新数据，如果存在，则说明有对更新关注时间的数据做过增量更新操作，为了避免产生冗余数据和脏数据，需要先将上次操作的数据进行回滚
1. 从【输出数据A】中去除非更新关注时间的数据，再对比目标表，去除没有发生变化的数据，仅保留更新关注时间下的变化数据，记【输出数据B】
2. 将目标表中分组字段存在于【输出数据B】中的数据进行关链，再将【输出数据B】中的数据追加到目标表中，完成整个增量更新的操作

3.数据开发平台SCD节点的功能增强

（1）初始化/增量更新支持无时间戳的源数据

使用运行时间当日/运行时间前一日作为起始时间，由于源数据不包含时间戳字段，所以一组分组字段下不能存在两条及以上的数据，否则程序无法判断两条数据的时间关系，会随机取一条数据作为运行时间当日/运行时间前一日的最终数据，就有可能导致数据的不准确性。

（2）初始化/增量更新支持添加自定义列

自定义列支持用户设置对SCD表的其他业务字段，比如审计字段等，使SCD节点更贴近业务需求。

源表格式：

ID	VALUE	OPERATE_DATE
1	A	2021-12-01
1	B	2022-01-08
2	C	2022-02-01
3	D	2022-02-02

最终处理成的拉链表的格式：

ID	VALUE	START_DATE	END_DATE
1	A	2021-12-01	2022-01-07
1	B	2022-01-07	9999-12-31
2	C	2022-02-01	9999-12-31
3	D	2022-02-02	9999-12-31

SCD节点产品化实现相关推荐

2021秋招学习笔记
PS:csdn上有很多图片加载不出来,有PDF版在我的资源.(如果没有1积分可以评论我,直接发给你邮箱) 文章目录 Java基础篇学习(7/3-7/4) 数据类型泛型.反射.注解.序列化(加实例) ...
多节点CDN缓存加速系统wdcdn2.4版本发布(20111213)
多节点CDN缓存加速系统wdcdn2.4版本发布(20111213) Wdcdn是一套基于Linux+apache+squid架构开发的CDN缓存加速系统及管理系统可帮助大中小站长或大中小企业低成本 ...
SCD缓慢变化维拉链表
SCD缓慢变化维拉链表SQL实现 1 缓慢变化维概述 SCD英文Slow Changing Dimensions(缓慢变化维),它是数据仓库建模过程中一个非常重要的概念.众所周知数据仓库是基于历史数据 ...
换根dp求树所有节点的最小深度
链接:https://ac.nowcoder.com/acm/contest/18072/A 牛妹有一张连通图,由n个点和n-1条边构成,也就是说这是一棵树,牛妹可以任意选择一个点为根,根的深度为0, ...
OpenStack的产品化历程
本篇文章分享下个人的一些观点,仅代表个人想法,和公司产品及技术没有任何关系:个人说话比较直接,所以不喜勿喷:有些观点除非你有明确的数据或证据,不然大家权当听下就好^_^. 先自我介绍下,sina微博北 ...
基于Spark的用户行为路径分析的产品化实践
1. 什么是用户行为路径用户行为路径分析是互联网行业特有的一类数据分析方法,它主要根据每位用户在App或网站中的点击行为日志,分析用户在App或网站中各个模块的流转规律与特点,挖掘用户的访问或点击 ...
王咏刚《AI的产品化和工程化挑战》
文章目录一.引言 (一)产品视角 (二)工程视角二.从AI科研到AI商业化 (一)今天的AI技术有非常明显的边界 (二)今天的AI技术在有限领域里可成为支柱技术 (三)产业实践强调的是完整的系统工 ...
天旦BPC 4.3发布，人工智能产品化第一步
上海2018年7月31日电 /美通社/ -- 如同生物会适应环境而进化,软件产品也会不断更新迭代,变得更强大.更智能.更好用.在保障业务系统一如既往稳健运行的同时,天旦发布 BPC4.3版本,带来升级 ...
【转】CAN总线设计---CAN节点的电容、CAN终端电阻、CAN总线共模电感/共模扼流圈修改版*****
CAN的传输速度最大可达到1Mbps,它通过差分方式跟总线连接. 1.CAN节点的电容: 汽车CAN总线设计规范对于CAN节点的输入电容有着严格的规定,每个节点不允许添加过多容性器件,否则节点组合到一 ...

SCD节点产品化实现