kafka的Acks和Retries、幂等性

kafka的Acks和Retries，保证数据的可靠性传输，针对生产者

Acks
acks = 1 : leader把数据写入磁盘后，不等follower完全确认，就做出响应；如果leader宕机，会造成数据丢失

acks = 0: 生产者不等待任何确认，直接响应

acks = all: leader会等待至少一个follower完全确认，才做出响应；即使leader宕机，数据也不会丢失

Retries: 重试次数

acks = all 和 retries同时使用，会导致某些数据重复

幂等性：保证同一个分区下，数据的完整性（不会丢失、不会重复）
幂等要和acks = all, retries > 0，一起使用

幂等，exactly one（正好一个）

Kafka中如何实现幂等
每一个生产者，初始一个Product ID , Broker会记录 PID 和序列号（自增），当下一个消息的序号> PID中的序列号，则通过；否则就认为是重复的

kafka的Acks和Retries、幂等性相关推荐

Kafka producer的事务和幂等性
背景:kafka 客户端之producer API发送消息以及简单源码分析从Kafka 0.11开始,KafkaProducer又支持两种模式:幂等生产者和事务生产者.幂等生产者加强了Kafka的交 ...
Kafka中ACKS LSO LEO LW HW AR ISR OSR解析
文章目录前言名词解释消息生产和消费流程 ACKS三种类型 AR.ISR.OSR ISR机制 LSO.LEO.LW.HW 前言 Kafka中ACKS三种策略,LSO.LEO.LW.HW.AR.IS ...
Kafka Producer重试参数retries设置取舍
Kafka Producer重试参数retries设置取舍 retries参数在版本0.11.3 建议设置 retries = Integer.MAX_VALUE max.in.flight.requ ...
关于kafka中acks是否可以为all
kafka源码中有这样一段代码: org.apache.kafka.clients.producer.KafkaProducer private static int parseAcks(String ...
kafka系列4：消息幂等性
1.kafka提供的幂等功能 RabbitMQ中没有对消息重复做处理,而Kafka在Broker上实现了消息的重复性判断. enable.idempotence设置成true之后,Producer自动 ...
Kafka的 acks 的三种机制是什么？
前言本文隶属于专栏<1000个问题搞定大数据技术体系>,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢! 本专栏目录结构和参考文献请见1000个问题搞定大数据技 ...
基于ai的预测_基于AI的预测性维护可增强战备状态，减少飞行故障
基于ai的预测 By Philong Duong, Senior Product Manager 高级产品经理Philong Duong As a leading provider of AI-ena ...
博德之门1修改器_从博德之门到啤酒
博德之门1修改器创作者访谈 (CREATOR INTERVIEW) Narratives with emotional beats and meaningful choices have alway ...
末日边境_环境计算与旗舰设备的末日
末日边境 For decades now, it's been a habit to keep renewing our devices. Our phones, our laptops, our d ...

kafka的Acks和Retries、幂等性

kafka的Acks和Retries、幂等性相关推荐

最新文章

热门文章