概述

parallelism指的是并行度的意思。在 Flink 里面代表每个任务的并行度，适当的提高并行度可以大大提高 job 的执行效率，比如你的 job 消费 kafka 数据过慢，适当调大可能就消费正常了。
slot指的是插槽的意思，flink中任务的并行性由每个 Task Manager 上可用的 slot 决定。

设置并行度的几种方式

执行环境层面

env.setParallelism(3);

算子层面

sum(1).setParallelism(3)

客户端层面

./bin/flink run -p 3

系统层面

修改配置文件设置/conf/flink-conf.yaml的parallelism.defaul数值

parallelism与slot的区别

slot 是指 taskmanager 的并发执行能力

如上图所示：taskmanager.numberOfTaskSlots:3；即每一个 taskmanager 中的分配 3 个 TaskSlot, 3 个 taskmanager 一共有 9 个 TaskSlot。

parallelism 是指 taskmanager 实际使用的并发能力

如上图所示：parallelism.default:1；即运行程序默认的并行度为 1，9 个 TaskSlot 只用了 1 个，有 8 个空闲。设置合适的并行度才能提高效率。

parallelism 是可配置、可指定的；

上图中 example2 每个算子设置的并行度是 2， example3 每个算子设置的并行度是 9。

example4 除了 sink 是设置的并行度为 1，其他算子设置的并行度都是 9。

（5）Flink-并行度parallelism、插槽slot相关推荐

flink sql设置并行度_《从0到1学习Flink》—— Flink parallelism 和 Slot 介绍
前言之所以写这个是因为前段时间自己的项目出现过这样的一个问题: Caused by: akka.pattern.AskTimeoutException: Ask timed out on [Acto ...
1.21.Flink Slot和并行度(parallelism)\Flink的并行度由什么决定的？\Flink的task是什么？\slot和parallelism
1.21.Flink Slot和并行度(parallelism) 1.21.1.Flink的并行度由什么决定的? 1.21.2.Flink的task是什么? 1.21.3.slot和paralleli ...
Flink并行度与Slot的关系
当调节Flink并行度与slot时候,会有一些坑. 其中的关系如下:假设集群中有一台master,k台slave节点. Flink-conf.yaml中有两个重要的参数: taskmanager.nu ...
1.17.Flink 并行度详解(Parallel)、TaskManager与Slot、Operator Level、Execution Environment Level、Client Level等
1.17.Flink 并行度详解(Parallel) 1.17.1.TaskManager与Slot 1.17.2.TaskManager与Slot 1.17.3.并行度(Parallel) 1.17 ...
flink 不设置水印_从0到1学习Flink—— Flink parallelism 和 Slot 介绍
前言之所以写这个是因为前段时间自己的项目出现过这样的一个问题: 1Caused by: akka.pattern.AskTimeoutException: 2Ask timed out on [Ac ...
《从0到1学习Flink》—— Flink parallelism 和 Slot 介绍
2019独角兽企业重金招聘Python工程师标准>>> 前言之所以写这个是因为前段时间自己的项目出现过这样的一个问题: 1 2 3 Caused by: akka.pattern. ...
Flink parallelism和Slot介绍
什么是parallelism? 一个Flink程序是由多个任务组成(source.transformation和sink).一个任务由多个并行的实例(线程)来执行,一个任务的并行实例(线程)数目就被称 ...
Flink(十一)：Parallelism 、Slot 简介
目录一.简介二.Slot 简介三.Parallelism 简介四.Parallelism 与Slot 关系一.简介 TaskManager(也称为 worker)执行作业流的 task, ...
Flink parallelism 和 Slot 介绍
原文链接:https://cloud.tencent.com/developer/article/1400012 parallelism 是并行的意思,在 Flink 里面代表每个任务的并行度,适当的 ...

（5）Flink-并行度parallelism、插槽slot

概述

设置并行度的几种方式

parallelism与slot的区别

（5）Flink-并行度parallelism、插槽slot相关推荐

最新文章

热门文章