Flink中增量聚合函数和全量聚合函数的关系

 在上一篇博客当中，我们对Window的整体分类即使用进行了介绍，今天我们将从另外一个角度对Window进行分类，这个角度就是聚合角度。

Window的聚合操作分为2种：一种是增量聚合，另外一种是全量聚合，增量聚合是指窗口内每进入一条数据就计算一次，而全量聚合是指在窗口

被触发的时候才会对窗口内的所有数据进行一次计算。

（1）增量聚合
常见的增量聚合函数有：reduce(reduceFunction)、aggregate(aggregateFunction)、sum()、min()、max()。

增量聚合我们可以用下面一张图来表示：

大家从图上面也许就已经明白增量聚合的含义了：来一条数据、计算一次。

接下来我们通过一个例子演示一下效果：

示例程序：增量聚合

package Stream_example.window;

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.functions.ReduceFunction;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.str

Flink中增量聚合函数和全量聚合函数的关系相关推荐

1.16.Flink Window和Time详解、TimeWindow的应用、Window聚合分类之全量聚合、全量聚合状态变化过程-求最大值、Time介绍、EventTime和Watermarks等
1.16.Flink Window和Time详解 1.16.1.Window(窗口) 1.16.2.Window的类型 1.16.3.Window类型汇总 1.16.4.TimeWindow的应用 1 ...
Flink窗口聚合案例(增量聚合、全量聚合)
上面我们time window和count window讨论了聚合,下面我们从另外一个角度对window进行分类,从聚合角度. window的集合操作分为2种:一种是增量聚合,一种时候全量聚合,增量聚 ...
MaxCompute 实现增量数据推送(全量比对增量逻辑)
ODPS 2.0 支持了很多新的集合命令(专有云升级到3版本后陆续支持),简化了日常工作中求集合操作的繁琐程度.增加的SQL语法包括:UNOIN ALL.UNION DISTINCT并集,INTERS ...
linux svn 增量备份脚本,svn全量和增量备份详解(示例代码)
1.svn的安装: yum安装: yum install -y subversion mkdir /data/svn svnadmin create project-1 svnadmin create ...
Flink中Window详解之Window的聚合函数AggregateFunction
和 ReduceFunction 相似,AggregateFunction 也是基于中间状态计算结果的增量计算函数,但 AggregateFunction 在窗口计算上更加通用.AggregateF ...
mysql增量备份具体步骤_记一次mysql全量备份、增量备份的学习过程
增量备份依赖于全量备份,因此首先要有全量备份,在全量备份的基础上,添加增量备份. 为了方便操作,我们先来做些准备工作.在客户端直接输入mysql.mysqldump.mysqladmin.mysqlb ...
什么是全量数据、增量数据？如何统一一套系统？
一.什么是全量数据.增量数据? 1.全量数据 2.增量数据二.如何统一一套系统 1.为什么需要统一一套系统来处理全量数据和增量数据? 2.如何实践? 一.什么是全量数据.增量数据? 全量数据和增量数 ...
Redis持久化机制 -全量同步与增量同步的区别
全量同步与增量同步的区别全量同步:就是每天定时(避开高峰期)或者采用一个周期实现将数据拷贝到一个地方也就是Rdb存储. 增量同步:比如采用对行为的操作实现对数据的同步,也就是AOF. 全量与增量的比 ...
MYSQL增量备份和全量备份脚本分享
mysql的全量备份与增量备份全量备份:可以使用mysqldump直接备份整个库或者是备份其中某一个库或者一个库中的某个表. 增量备份:增量备份是针对于数据库的bin-log日志进行备份的,需要开始 ...

Flink中增量聚合函数和全量聚合函数的关系

Flink中增量聚合函数和全量聚合函数的关系相关推荐

最新文章

热门文章