【Flink】广播流

flink广播流适用于规则匹配，当规则数据比较少的情况，flink会把规则流广播，数据流就会拿到最新的规则流进行处理。

1、先定义规则类

package com.test;import lombok.Data;@Data
public class Rule {private Integer id;private String result;public Rule() {}public Rule(Integer id, String result) {this.id = id;this.result = result;}
}

2、定义规则流（待广播流）

package com.test;import org.apache.flink.streaming.api.functions.source.SourceFunction;
/*** 自定义Source*/
class RuleSourceFunction implements SourceFunction<Rule> {private boolean isRunning = true;Integer id = 1;@Overridepublic void run(SourceContext<Rule> ctx) throws Exception {while (isRunning) {Rule rule = new Rule(id, "aaa");ctx.collect(rule);if (id == 1) {id = 2;}

【Flink】广播流相关推荐

Flink广播流——BroadcastStream
在日常Flink开发中,有时需要给正在运行中的Flink程序修改参数,比如过滤一些字段.字段值等,而这些值有时是配置在Mysql中的,但如果进行高吞吐计算的Function中动态查询配置文件有可能使任 ...
Flink的累加器和广播变量、广播流、分布式缓存
1.Accumulator累加器 Accumulator即累加器,与Mapreduce counter的应用场景差不多,都能很好地观察task在运行期间的数据变化.可以在Flink job任务中的算 ...
Flink / Scala 实战- 4.BroadCast 广播流数据先到再处理 Source 数据
一.引言 Flink 支持增加 DataStream KeyBy 之后 conncet BroadCastStream 形成 BroadConnectedStream,广播流内数据一般为不间断更新的上 ...
flink怎么保证广播流比数据流先到
前置条件:flink cdc 监听字典表并广播,主流消费kafka设置消费模式为earliest,两个流connect 如果当字典表数据稍微大了点,那么主流数据会比广播流数据到的早,导致前边的数据没法 ...
flink 怎么保证广播流比数据流先到
解决flink问题小技巧: 一般使用flink中出现了问题, 可以在Apache Flink 中文用户邮件列表: http://apache-flink.147419.n8.nabble.com/ 找 ...
Flink 广播变量
广播变量简介在Flink中,同一个算子可能存在若干个不同的并行实例,计算过程可能不在同一个Slot中进行,不同算子之间更是如此,因此不同算子的计算数据之间不能像Java数组之间一样互相访问,而广播变 ...
Flink 多流转换
概述无论是基本的简单转换和聚合,还是基于窗口的计算,我们都是针对一条流上的数据进行处理的.而在实际应用中,可能需要将不同来源的数据连接合并在一起处理,也有可能需要将一条流拆分开,所以经常会有对多 ...
Flink教程（10）- Flink批流一体API（其它）
文章目录 01 引言 02 累加器 2.1 相关API 2.2 示例代码 03 广播变量 3.1 原理 3.2 示例代码 04 分布式缓存 4.1 原理 4.2 示例代码 05 文末 01 引言在前 ...
Flink教程（07）- Flink批流一体API（Transformation示例）
文章目录 01 引言 02 Transformation 2.1 基本操作 2.1.1 API 解析 2.1.2 示例代码 2.2 合并 2.2.1 union 2.2.2 connect 2.2.3 ...

【Flink】广播流

【Flink】广播流相关推荐

最新文章

热门文章