一.数据重分区

重分区操作，在DataStream类中可以看到很多Partitioner字眼的类。
其中partitionCustom(…)方法用于自定义重分区。

测试代码:

package org.flink.transform;/*** @author 只是甲* @date   2021-08-31* @remark Flink 基础Transform  重分区*/import org.flink.beans.SensorReading;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;public class TransformTest6_Partition {public static void main(String[] args) throws Exception{// 创建执行环境StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();// 设置并行度 = 4env.setParallelism(4);// 从文件读取数据DataStream<String> inputStream = env.readTextFile("C:\\Users\\Administrator\\IdeaProjects\\FlinkStudy\\src\\main\\resources\\sensor.txt");// 转换成SensorReading类型DataStream<SensorReading> dataStream = inputStream.map(line -> {String[] fields = line.split(",");return new SensorReading(fields[0], new Long(fields[1]), new Double(fields[2]));});// SingleOutputStreamOperator多并行度默认就rebalance,轮询方式分配dataStream.print("input");// 1. shuffle (并非批处理中的获取一批后才打乱，这里每次获取到直接打乱且分区)DataStream<String> shuffleStream = inputStream.shuffle();shuffleStream.print("shuffle");// 2. keyBy (Hash，然后取模)dataStream.keyBy(SensorReading::getId).print("keyBy");// 3. global (直接发送给第一个分区，少数特殊情况才用)dataStream.global().print("global");env.execute();}
}

测试记录：
如下截图可以看到:

input标记的是rebalance，均匀分布
global全部都分配到进程1了
keyBy非均匀分布 sensor_1 全部都分配到了进程1
shuffle 就有点随机了

参考:

https://www.bilibili.com/video/BV1qy4y1q728
https://ashiamd.github.io/docsify-notes/#/study/BigData/Flink/%E5%B0%9A%E7%A1%85%E8%B0%B7Flink%E5%85%A5%E9%97%A8%E5%88%B0%E5%AE%9E%E6%88%98-%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0?id=_521-%e4%bb%8e%e9%9b%86%e5%90%88%e8%af%bb%e5%8f%96%e6%95%b0%e6%8d%ae

Flink基础系列20-数据重分区操作相关推荐

夯实Java基础系列20：从IDE的实现原理聊起，谈谈那些年我们用过的Java命令
本系列文章将整理到我在GitHub上的<Java面试指南>仓库,更多精彩内容请到我的仓库里查看 https://github.com/h2pl/Java-Tutorial 喜欢的话麻烦点下 ...
Flink基础系列17-Tranform之多流转换算子
文章目录一.多流转换算子概述 1.1 Split和Select 1.2 Connect和CoMap 1.3 Union 二.代码实现参考: 一.多流转换算子概述多流转换算子一般包括: Split ...
Flink基础系列8-Flink on yarn运行wordcount程序
文章目录环境介绍一.Maven配置二.Java代码编写三.Maven打包并上传四.运行jar文件五.运行其它的class文件参考环境介绍测试服务器CDH 6.3.1版本安装Flink ...
Flink基础系列7-通过Web UI执行jar文件
文章目录环境准备一.准备代码 1.1 maven准备 1.2 Java代码准备二.打包三.通过Web UI执行jar文件 3.1 上传文件环境准备本地Windows环境已安装Flink 1 ...
php基础系列之数据的存储和读取
·文件处理 ·写入一个文件 1,打开这个文件.如果这个文件不存在,需要先创建它 2,将数据写入这个文件 3,关闭这个文件 ·从一个文件读出数据 1,打开这个文件.如果这个文件不能打开(例如,文件不存在 ...
Flink基础系列6-flink run参数
执行 flink run 后参数: 参数说明 Action "run" compiles and runs a program. Syntax: run [OPTIONS] < ...
大数据入门基础系列之初步认识大数据生态系统圈（博主推荐）
不多说,直接上干货! 之前在微信公众平台里写过大数据入门基础系列之初步认识hadoop生态系统圈 http://mp.weixin.qq.com/s/KE09U5AbFnEdwht44FGrOA 大 ...
大数据基础系列 5：Hadoop 实验——熟悉常用的 HDFS 目录操作和文件操作
文章目录前言一.实验目的二.实验平台三.实验内容和要求 3.1.HDFS 目录操作 3.1.1.创建用户目录 3.1.2.显示 HDFS 中与当前用户对应的目录内容 3.1.3.列出 HDFS ...
STM32 基础系列教程 20 - RTC
前言学习stm32 RTC(实时时钟)的使用,学会用RTC实现钟表功能. 示例详解基于硬件平台: STM32F10C8T6最小系统板, MCU 的型号是 STM32F103c8t6, 使用stm3 ...

Flink基础系列20-数据重分区操作

文章目录

一.数据重分区

参考:

Flink基础系列20-数据重分区操作相关推荐

最新文章

热门文章