Kafka的 acks 的三种机制是什么?
前言
本文隶属于专栏《1000个问题搞定大数据技术体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!
本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系
正文
acks 参数,是控制发送出去的消息的持久化机制的
acks=0
producer根本不管写入broker的消息到底成功没有,发送一条消息出去,立马就可以发送下一条消息,这是吞吐量最高的方式,
但是可能消息都丢失了,你也不知道的,但是说实话,你如果真是那种实时数据流分析的业务和场景,就是仅仅分析一些数据报表,丢几条数据影响不大的。
会让你的发送吞吐量会提升很多,你发送弄一个batch出,不需要等待人家leader写成功,直接就可以发送下一个batch了,吞吐量很大的,哪怕是偶尔丢一点点数据,
适合场景:实时报表,折线图,饼图等。
acks=all/acks=-1
这个leader写入成功以后,必须等待其他ISR中的副本都写入成功,才可以返回响应说这条消息写入成功了,此时你会收到一个回调通知
acks=1
只要leader写入成功,就认为消息成功了,默认给这个其实就比较合适的,还是可能会导致数据丢失的,
如果刚写入leader,leader就挂了,此时数据必然丢了,其他的follower没收到数据副本,变成leader
Kafka的 acks 的三种机制是什么?相关推荐
- io多路复用的原理和实现_IO多路复用的三种机制:select 、poll 、epoll
目录 概述 IO多路复用本质 IO多路复用的优势 IO多路复用Select机制 IO多路复用Poll机制 IO多路复用Epoll机制 select,poll,epoll机制区别总结 php7进阶到架构 ...
- poll函数_I/O--多路复用的三种机制Select,Poll和Epoll对比
I/O多路复用(multiplexing)的本质是通过一种机制(系统内核缓冲I/O数据),让单个进程可以监视多个文件描述符,一旦某个描述符就绪(一般是读就绪或写就绪),能够通知程序进行相应的读写操作 ...
- IO多路复用的三种机制Select,Poll,Epoll
目录 1. IO多路复用 2.操作系统基础概念 3.Select 4.Poll 5.Epoll 6.总结 1. IO多路复用 I/O多路复用(multiplexing)的本质是通过一种机制(系统内核缓 ...
- [工作中爬过的坑] Kafka配置域名的三种难度
文章目录 1. 背景说明 2. 初级难度 - 无认证Kafka 3. 中级难度 - SASL/PLAIN认证Kafka 4. 有人捣乱的难度 - Ambari中SASL/PLAIN认证Kafka 我曾 ...
- kafka消费者分区的分配的三种机制
1.RangeAssignor RangeAssignor策略的原理是按照消费者总数和分区总数进行整除运算来获得一个跨度,然后将分区按照跨度进行平均分配,以保证分区尽可能均匀地分配给所有的消费者.对于 ...
- poll函数_如何理解IO多路复用的三种机制Select,Poll,Epoll?
专注分享Linux后台服务器开发,包括C/C++,Linux,Nginx,ZeroMQ,MySQL,Redis,fastdfs,MongoDB,ZK,流媒体,CDN,P2P,K8S,Docker,TC ...
- kafka发送消息的三种方式
1.发后即忘(fire-and-forget) 只管往kafka发送消息而并不关心消息是否正确到达.正常情况没什么问题,不过有些时候(比如不可重试异常)会造成消息的丢失.这种发送方式性能最高,可靠性最 ...
- kafka消费的三种模式_快速认识Kafka
1.Kafka是什么 简单的说,Kafka是由Linkedin开发的一个分布式的消息队列系统(Message Queue).kafka的架构师jay kreps非常喜欢franz kafka,觉得ka ...
- Yarn的三种资源调度机制
在企业中并不是只有一个人来执行MapReduce程序单独使用Yarn的资源,实际开发中,会有很多人一起使用Yarn这个资源,如果每个人都提交了job,这个时候Yarn就需要进行调度去分配资源给job, ...
最新文章
- 机房收费系统总结【3】-数据库细节
- ACM 中常用的算法有哪些?
- WARNING:tensorflow:Layer gru will not use cuDNN kernels since it doesn‘t meet the criteria. It will
- NOD32: 教育网、公网超级 病毒更新服务器
- 曾经想学很多很多,最后发现自己只能专心学那么很少的几个必杀技
- Oracle DBA课程系列笔记(16)
- oracle创建用户名了,oracle创建用户名
- python连接opencv库_利用Python和OpenCV库将URL转换为OpenCV格式的方法
- C++之初始化列表的一个笔记
- android launcher推荐,追求效率的你,需要这款 Android 最快启动器:FastKey Launcher
- 不同语言Sql Server的库交换出现乱码
- HighCharts 详细使用及API文档说明
- 【No.11 默认实参的匹配】
- 再也不见,Itchat!
- Excel·VBA考勤打卡记录统计结果
- 实验2014052801:动态网页中的动态思想
- .gitignore文件不生效
- 关于Python、R、VBA、SAS的生成批量变量名与动态变量引用的问题
- 砥砺前行,匠心致远|袋鼠云联合创始人、易知微CEO宁海元荣获“数字工匠 ”
- 【YOLOv3从头训练 数据篇】
热门文章
- 关于python:如何将Word文档批量转换为PDF文档
- 设定关系(A=1,B=2,C=3,···,Z=26,AA=27,AB=28,···,AAA=XXX,···),写一个转换函数,根据上面规则把一个字符串转换为数字。
- 转转消费市场分析:年轻人爱买卖闲置,低碳生活越来越“酷”
- 记录一次南京华为OD iOS岗位机试流程
- 微型计算机2009,微型计算机及接口技术2009年10月真题试题(04732)
- 人人都能轻松做到的便签整理术方法
- 晶圆盒RF载具ID读取器CK-S650-PA60E的1协议和N协议通信说明
- mother的含义,母亲节赞美母亲的优美诗句
- 工程伦理第九章学习笔记2020最新
- 因子分析累计贡献率_累计方差贡献率和方差贡献率是什么关系SPSS中~~