Flink cdc+ doris 大宽表实践~

还没整理好，别慌。

一，业务问题：

多个表关联join（涉及时间维度跨度很长），几乎等同于全量关联，这个时候flink sql join没法做，因为state会无线增大，然后OOM。

二，解决方案：

使用doris去做大宽表。

方案1，数据写入ods层，然后sql语句关联定时写入dws层，类似离线批处理。

这种就是替代hive离线计算的方案。

方案2,数据写入大宽表，利用doris特性。

https://cloud.baidu.com/doc/DORIS/s/3kmealtpc

1）创建doris大宽表 -Agg模型

可以尝试自己去创建一个表，相同的主键数据后者字段值会覆盖前者，而不是想unqi模型一样是相同主键整行数据替换。

2) 插入对应的数据

id是主键

A流插入 id a

B流插入 id b

C流插入 id c

3）存在的问题，以及怎么解决

1，插入的流数据比如有相同的主键，如果是维表要在插入之前同步为相同的主键字段

2，联合主键场景

三，flink cdc 写入doris

这个很简单，doris 目前支持flink sql 或者 flink cdc写入直接调用stream load方式写入doris，官方有包。

四，不是很明白的地方。

主要是解决维表生成主键的问题。

要先导入明细数据，然后再接入维表数据，维表数据去补全数据，然后再写入，在这个过程中肯定有个延迟。

我画了个图方便理解：

五，补充

Tidb 可以用hbase类似的代替，我也没用过tidb，成本太高。

Flink cdc+ doris 大宽表实践~相关推荐

【视频特辑】数据分析师必备，快速制作一张强大好用的大宽表
简介:随着企业数字化进程的逐步推进,在日常经营过程当中会沉淀下越来越多的数据信息. 每当想做数据分析的时候,就会发现想要的指标分散在不同的数据源.数据集.数据表当中. Quick BI的数据关联功能, ...
Elasticseach：从微服务架构演变到大宽表思维的架构转变
序言图示:Elasticsearch 在DB-Engine综合排名第8 Elasticsearch 简称"ES", 在DB-Engine 综合排名第8,已经持续了相当长的时间,按 ...
spark 宽表 mysql_扒一扒某厂的新零售用户画像系统大宽表 | 知识整理
扒一扒某厂如何构建新零售领域中用户画像的大宽表.字数不多,就600字. 用户画像系统的维度表构建画像大维表是一个画像系统所支持的所有标签的元数据,一个体系完整的画像设计范围广,一般是由很多团队共同构 ...
数据库设计--大宽表
宽表的概念基本概念宽表从字面意义上讲就是字段比较多的数据库表.通常是指业务主题相关的指标.维度.属性关联在一起的一张数据库表. 由于把不同的内容都放在同一张表存储,宽表已经不符合三范式的模型设计规 ...
Flink cdc +doris生产遇到的问题汇总-持续更新
问题: 我有个表主键是字符串类型然后cdc去读取的时候自己split了很久 checkpoint一直显示执行中,我看日志打印是info : checkpoint一直卡在那里程序一直等待中: 原因 ...
37手游云平台基于Flink+Hologres大数据建设实践
本文整理自37手游大数据平台资深开发工程师史飞翔在实时数仓Workshop · 广州站的演讲.主要内容包括: 37云平台大数据建设背景 37云平台大数据建设方案应用实践未来规划作者:史飞翔 37 ...
Flink CDC + Hudi 海量数据入湖在顺丰的实践
摘要:本文整理自顺丰大数据研发工程师覃立辉在 5月 21 日 Flink CDC Meetup 的演讲.主要内容包括: 顺丰数据集成背景 Flink CDC 实践问题与优化未来规划 Tips:点击「 ...
【数仓建模】传统建模与宽表建模有何差异？基于宽表建模实践
[数仓建模]传统建模与宽表建模有何差异?基于宽表建模实践一.业务背景 1.1 数据建模现状: 1.2 当前业务特性与趋势二.面临的问题 2.1 在数据驱动业务越来越重要的大趋势下,面临的问题 2. ...
Flink 在顺丰的应用实践
简介: 顺丰基于 Flink 建设实时数仓的思路,引入 Hudi On Flink 加速数仓宽表,以及实时数仓平台化建设的实践. 本⽂由社区志愿者苗文婷整理,内容源⾃顺丰科技大数据平台研发工程师龙逸尘 ...

Flink cdc+ doris 大宽表实践~

Flink cdc+ doris 大宽表实践~相关推荐

最新文章

热门文章