如何用Know Streaming 快速对Kafka Topic 完成扩缩副本操作

文章目录

功能简介
操作流程
操作亮点
- 一次扩缩多个Topic
- 自定义副本目标节点
- 可预览扩缩副本的计划并手动修改
- 限流扩缩
实现原理
Know Streaming介绍

功能简介

扩缩副本功能是原生Kafka没有的功能，或者说是没有直接提供的功能。

但是对于扩缩副本这么一个操作功能, 是属与平时不会用, 想用的时候干着急。

比如一开始你的Topic副本数填的是1, 运行了一段时间之后发现, 1的副本可不行啊, 高可用性大大降低, 需要扩副本。

但是你想要扩副本的时候才发现, kafka并没有提供此类功能, 处境很尴尬

现在,用Know Streaming 这个将不再是问题！

操作流程

①. Topic - > 批量变更 -> 迁移副本

②. 填写想要扩缩副本的Topic(可多选)

操作亮点

一次扩缩多个Topic

设置的时候可以一次性选择多个Topic进行副本的扩缩，并且每个Topic可以设置不同的副本数

自定义副本目标节点

如果你想扩缩副本操作之后副本应该分配在哪些节点中，则可以在下面这里设置。

注：目标节点的数量一定是要大于等于已选择Topic最终副本的最大数量的哦

比如一个topic 扩至2 一个扩至3. 那么目标节点一定要大于等于3

可预览扩缩副本的计划并手动修改

你可能想了解一下，扩缩之后的分配情况是什么样子的，那么你可以点击 预览任务计划

可以看到你可以针对每个Topic的每个分区的分配情况手动调节（一般情况是不需要的,除非你知道你做的是什么）

这个功能不仅能让你知道最终的分配情况，还能让你手动指定Broker还有顺序。

这个有什么用呢？

假如你想指定某个副本为Leader，按照优先副本的选举策略，你是不是就可以把你想要成为Leader副本的那个调整到最前面。

限流扩缩

扩缩副本的时候，本质上就是副本的复制和副本的删除流程。

为了防止整个过程对正常业务的影响，这里可以让你设置整个过程的限流阈值。

减少对集群的压力

实现原理

副本的扩缩,本质上就是执行了一次分区副本重分配。

关于分区副本重分配流程请看：分区副本重分配流程

Know Streaming介绍

Know Streaming脱胎于互联网公司内部多年的Kafka运营实践经验，通过0侵入、插件化构建企业级Kafka服务，极大降低操作、存储和管理实时流数据门槛
不会对Apache Kafka做侵入性改造，就可纳管0.10.x-3.x集群版本，帮助您提升集群管理水平；我们屏蔽了流处理的复杂性，让普通运维人员都能成为流处理专家

Know Streaming Github

Know Streaming 官网

如何参与共建

如何快速优雅的用Know Streaming创建Topic