kafka reset offset 手工重置offset

1、场景

a）有时消费端逻辑修改，需要重复消费数据，需要将offset设置到指定位置。

2、实现

kafka版本：0.11.*

KIP-122: Add Reset Consumer Group Offsets tooling

样例：

./kafka-consumer-groups.sh --bootstrap-server ip:9092 --group groupName --reset-offsets --to-offset 1000 --topic topicName --execute

3、问题

--reset-offsets 是从0.11.*后支持，如果是0.10.*的版本可以如下操作：

a.下载0.11.*或更新版本

b.使用0.11.*或更新版本的脚本即可（kafka-consumer-groups.sh），不过有的功能可能会提示接口版本问题。例如--describe提示kafka服务端接口版本过低。

参考原文：

For ones who want to do the same for Kafka 0.10 you may download Kafka 1.0 binaries which include the script with this new offset reset capabilities, it will work for Kafka 0.10 as well:

wget http://apache-mirror.rbc.ru/pub/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz
tar -xvf kafka_2.11-1.0.0.tgz
cd kafka_2.11-1.0.0/bin

4、其他配套使用脚本

a.查看消费组list

./kafka-consumer-groups.sh --new-consumer --bootstrap-server ip:9092 --list

b.查看指定消费者的offset

./kafka-consumer-groups.sh --new-consumer --bootstrap-server ip:9092 --describe --group groupName

c.重置offset

./kafka-consumer-groups.sh --bootstrap-server ip:9092 --group groupName --reset-offsets --to-offset 1000 --topic topicName --execute

参考

kafka 0.11 how to reset offsets

how to reset kafka consumer group offset

kafka reset offset 手工重置offset相关推荐

Kafka消费者重置offset读取数据
2019独角兽企业重金招聘Python工程师标准>>> public class KafkaConsumer2 {public static void main(String[] a ...
【kafka】confluent_kafka重置offset
之前写过两篇关于重置offset的博文,后来使用过程中都有问题. 经过各种尝试,终于找到了解决方案. 直接上代码: # coding=utf8from confluent_kafka import C ...
Kafka文件存储机制及offset存取
Kafka是什么 Kafka是最初由Linkedin公司开发,是一个分布式.分区的.多副本的.多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx ...
Kafka+SparkStreaming+Zookeeper(ZK存储Offset,解决checkpoint问题)
创建一个topic ./kafka-topics.sh --create --zookeeper 192.168.1.244:2181,192.168.1.245:2181,192.168.1.246 ...
关于kafka中的timestamp与offset的对应关系
关于kafka中的timestamp与offset的对应关系 @(KAFKA)[storm, kafka, 大数据] 关于kafka中的timestamp与offset的对应关系获取单个分区的情况 ...
【kafka】kafka LogSegmentOffsetOverflowException segment overflow Detected offset overflow
文章目录 1.概述 2.源码 3.KAFKA-5413 4.KAFKA-6264 5.解决 1.概述偶然kafka报错如下核心错误关键字: Caught segment overflow erro ...
kafka查询offset生产者offset计算消费offset计算
本文目录 kafka查询offset&生产者offset计算&消费offset计算 1.简介 2.需求背景 3.前期准备 4.获取kafka生产者的offset以及消费者的offset ...
OFFSET约束（OFFSET IN 和OFFSET OUT）
OFFSET 的意思是偏移.对于同步时序电路来说,数据和时钟之间的偏移量是必须要关注的.OFFSET IN和OUT分别对应的是输入和输出FPGA数据和时钟之间的偏移关系,本文将分析这一种关系.阅读本文 ...
Connection reset 连接被重置的解决方法
流是java的核心部分,,昨天在做android服务器连接服务器的时候出了问题,就将代码放到java中执行,结果还是一样连接被重置被重置的代码如下; 客户端代码; package 通信软件服务器;i ...

kafka reset offset 手工重置offset

kafka reset offset 手工重置offset相关推荐

最新文章

热门文章