1. chanelog模式

在以hudi的MOR表作为flink cdc的源时，出现了一些并非预期的效果。hudi自身支持ChangelogModes#FULL & ChangelogModes#UPSERT 两种模式，从它们支持的RowKind来看，还以为数据写入与读取时 RowKind是一致的，其实不然；另外，如果读写分别使用了不同的模式，那又会产生什么后果，我们应该怎么使用它。

当changelog.enable=true时，为FULL模式，包含的RowKind有：INSERT , UPDATE_BEFORE , UPDATE_AFTER , DELETE
当changelog.enable=false时，为UPSERT模式，包含的RowKind有：INSERT , UPDATE_AFTER , DELETE

2. FULL模式

2.1 写数据

在该模式下，sink端会完整接收上流所有RowKind类型的数据，在hudi内部通过往行记录中增加元数据字段_hoodie_operation，并将该字段的值设置为RowKind的名称(+I,-U,+U,-D)，通过查看生成的rt表和ro表结构，多了一列。

org.

hudi系列-changelog的读写相关推荐

「Hudi系列」Hudi查询写入常见问题汇总
点击上方蓝色字体,选择"设为星标" 回复"面试"获取更多惊喜八股文教给我,你们专心刷题和面试阅读本文前必读: 1. 「Apache Hudi系列」核心概念与 ...
STC15系列单片机EEPROM读写示例
STC15系列单片机EEPROM读写示例
STM32F4系列 HAL Flash 读写
前言注意:F0F1系列和F4系列的Flash读写操作不相同一.STM32CubeMX怎么查看芯片的Flash分布? 二.擦除F4系列Flash 本例程使用的是F411CEU6的型号芯片 1.擦除F ...
外部jar包_大数据系列之PySpark读写外部数据库
本文以MySQL和HBASE为例,简要介绍Spark通过PyMySQL和HadoopAPI算子对外部数据库的读写操作 1.PySpark读写MySQL MySQL环境准备参考"数据库系列之M ...
hudi系列-文件归档（archive）
1. 简介 hudi会不断生成commit.deltacommit.clean等类型的Instant从而形成活跃时间轴(ActiveTimeline),随着时间增长,时间轴变长,.hoodie元数据目 ...
hudi系列-upsert写过程
环境 hudi upsert写过程最为复杂,流程上有一个桶分配的环节,当以flink state为索引时,流程变得更长,所以写入性能较差. hudi 0.13.0 mor表+insert/upsert ...
Hudi系列3:Hudi核心概念
文章目录 Hudi架构一. 时间轴(TimeLine) 1.1 时间轴(TimeLine)概念 1.2 Hudi的时间线由组成 1.3 时间线上的Instant action操作类型 1.4 时间线 ...
hudi系列-流式增量查询
1. 简介 hudi的两大特性:流式查询和支持upsert/delete,hudi的数据变更是基于timeline的,所以时间点(Instant)就成为了实现增量查询的依据.在与flink集成中,当开 ...
BLE芯片DA145XX系列：OTP读写、OTP Header
Dialog的BLE芯片基本都有OTP(One-Time-Programmable)存储器,即一次性写入的存储器,一旦写入之后,就无法修改.如DA14531,有32KB的OTP存储器.主要用来写入固化 ...

hudi系列-changelog的读写

1. chanelog模式

2. FULL模式

2.1 写数据

hudi系列-changelog的读写相关推荐

最新文章

热门文章