Flink Interval Join源码理解

参考： https://www.jianshu.com/p/179beca9f307

interval join ：两条数据流+between边界+过期数据清理

demo:

下面看下源码实现

intervalJoin 属于 KeyedStream，源码部分也在KeyedStream中

KeyedStream的intervalJoin创建并返回IntervalJoin
IntervalJoin提供了between操作，用于设置interval的lowerBound及upperBound，即between边界区间（默认闭区间），between操作创建并返回IntervalJoined
IntervalJoined提供了process操作，process操作里头创建了IntervalJoinOperator

在这里return的是 left.connect(right).keyBy(keySelector1, keySelector2) , 因为left.connect(right)返回的是 ConnectedStreams, keySelector1/2是指demo中两个数据流的keyBy条件，类似与flinksql join中的 on

换类了，现在是IntervalJoinOperator类中了，重点也就在IntervalJoinOperator中

IntervalJoinOperator继承了AbstractUdfStreamOperator抽象类，实现了TwoInputStreamOperator及Triggerable接口
IntervalJoinOperator重写了AbstractUdfStreamOperator(StreamOperator定义)的open、initializeState方法，在initializeState中，创建了leftBuffer和rightBuffer两个MapState，key为Long表示时间时间戳，List<BufferEntry<T>>表示该时刻到来的数据记录，当左流和右流有数据到达时，会分别调用processElement1()和processElement2()方法，它们都调用了processElement()方法
processElement方法中实现了（1）根据数据时间戳和watermark判断数据是否late，如果late就return，否则就添加到buffer中（2）遍历otherBuffer，（也就是左右mapState，一个是buffer，另外个就是otherBuffer），判断时间是否满足要求，即判断有数据在边界内（ourTimestamp + relativeLowerBound <= timestamp <= ourTimestamp + relativeUpperBound），如果在就调用 collect方法（3）collect方法也就是我们demo中定义的process方法，对两条流匹配上的数据进行数据（4）计算这条数据的cleanupTime，调用internalTimerService.registerEventTimeTimer注册清理该数据的timer，到时候就把这条数据从state里清除

所有intervalJoin的很多功能都是在IntervalJoinOperator中实现的

整体总结下来就是 IntervalJoin 里设置上下边界，后在IntervalJoined中进行双流connect，然后在IntervalJoinOperator中实现数据的匹配以及设置数据的过期定时器timer等等。

https://blog.csdn.net/qq_34864753/article/details/111183556 在这篇博客里介绍了intervalJoin的watermark生成以及状态的清理机制，有兴趣的可以看看

Flink Interval Join源码理解相关推荐

flink sql 执行源码走读全流程
前言一.flinksql 流程图二.flinksql 源码分析三.flink hive sink 源码总结文章主要介绍了flinksql 的工作流程, 1.to SqlNode 解析阶段,生 ...
从hotspot底层对象结构理解锁膨胀升级过程||深入jdk源码理解longadder的分段cas优化机制——分段CAS优化
深入jdk源码理解longadder的分段cas优化机制 longadder
打包跳过编译_Apache Flink v1.9-SNAPSHOT 源码编译
Apache Flink v1.9-SNAPSHOT 源码编译下载源码 Flink 源码可以从官方 github repository上下载. git clone https://github.co ...
faster rcnn源码理解（二）之AnchorTargetLayer（网络中的rpn_data）
转载自:faster rcnn源码理解(二)之AnchorTargetLayer(网络中的rpn_data) - 野孩子的专栏 - 博客频道 - CSDN.NET http://blog.csdn.n ...
faster rcnn的源码理解（一）SmoothL1LossLayer论文与代码的结合理解
转载自:faster rcnn的源码理解(一)SmoothL1LossLayer论文与代码的结合理解 - 野孩子的专栏 - 博客频道 - CSDN.NET http://blog.csdn.net/u ...
TLD（Tracking-Learning-Detection）学习与源码理解之（六）
TLD(Tracking-Learning-Detection)学习与源码理解之(六) zouxy09@qq.com http://blog.csdn.net/zouxy09 下面是自己在看论文和这些 ...
TLD（Tracking-Learning-Detection）学习与源码理解之（五）
TLD(Tracking-Learning-Detection)学习与源码理解之(五) zouxy09@qq.com http://blog.csdn.net/zouxy09 下面是自己在看论文和 ...
TLD（Tracking-Learning-Detection）学习与源码理解之（四）
TLD(Tracking-Learning-Detection)学习与源码理解之(四) zouxy09@qq.com http://blog.csdn.net/zouxy09 下面是自己在看论文和这些 ...
TLD（Tracking-Learning-Detection）学习与源码理解之（三）
TLD(Tracking-Learning-Detection)学习与源码理解之(三) zouxy09@qq.com http://blog.csdn.net/zouxy09 下面是自己在看论文和这些 ...

Flink Interval Join源码理解

intervalJoin 属于 KeyedStream，源码部分也在KeyedStream中

Flink Interval Join源码理解相关推荐

最新文章

热门文章