Flink 消费Kafka的有趣现象：固定时间、固定数量的堆积

　　今天和同事遇到一个非常有趣的问题，在Kafka监控页面上可以看到该topic的消息会堆积到10万条左右，然后再很快的消费完毕归为0，然后又开始堆积到10万条左右，时间间隔都是3分钟。第一反应，反压？但是反压的也太整齐了吧。看了一眼代码，哈哈，CheckPoint的时间间隔是3分钟，而且是Exactly_Once的。

　　所以这3分钟的延迟是必须付出的代价了，算不上问题

Flink 消费Kafka的有趣现象：固定时间、固定数量的堆积相关推荐

【Kafka】Flink 消费 kafka 部分分区一直不提交 offset
文章目录 1.概述 1.1 查看消费组 1.2 检测topic 1.3 内置topic 1.4 flink数据监控 1.5 提交offset指标 M.扩展 1.概述一个环境,突然发现,Flink消费 ...
【FLink】Flink 消费 kafka 消费组死掉 Marking the coordinator dead for group 造成数据重复消费
文章目录 1.概述 2.源码分析 2.2 能不能设置多次提交呢? 2.3 监控日志 1.概述首先参考几个案例: [Flink]Flink Kafka 消费卡死消费组卡死 topic无写入实际有数 ...
【kafka】Flink 消费 kafka Received unknown topic topic/partition may not exist Describe access to it
1.场景1 很相似的问题参考:[Kafka]kafka console received unknown topic or partition error listOffset request 1.1 ...
【Flink】flink消费kafka报错 KafkaConsumer.assign Ljava/util/List
文章目录 1.概述 1.概述 flink消费kafka上数据时报错: Caused by: java.lang.NoSuchMethodError: org.apache.kafka.clients. ...
flink 消费 kafka offset 自动提交
flink 消费kafka 程序重启后,从原先的自动提交的点继续消费,earliest 不用再从开始消费如果开启了checkpoint 以 checkpoint为准 ,enable.auto.com ...
Flink消费kafka，某partition突然从头开始消费，yarn部署，无报错，很奇怪
Flink消费kafka,某partition突然从头开始消费,yarn per job部署,ui页面无报错,检查点也没有异常,很神奇,不知道什么原因?
flink消费kafka从指定时间消费offset的日志
有时生产上会按指定时间消费kafka的数据,具体日志如下: org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumerBase [] ...
flink消费kafka时topic partitions 和并行度间的分配源码详解
引言当我们消费kafka的一个topic时,我们知道kafka partition 是和我们设置的并行度是一一对应的: 也就是说,假如我们的topic有12个分区,那我们就设置12个并行度,这样每个 ...
记录一次Flink消费Kafka空转，无法拉取消息，checkpoint也能成功，但是位置点却不提交的异常处理
起因新起了一个业务,用flink消费实时集市kafka消息,在测试环境跑的好好的,验证也过了,然后上线. 刚上线的当天也好好的,晚上突然在某个点,就拉取不到消息了,上游一直有消息下来,但flink就 ...

Flink 消费Kafka的有趣现象：固定时间、固定数量的堆积

Flink 消费Kafka的有趣现象：固定时间、固定数量的堆积相关推荐

最新文章

热门文章