《Kafka权威指南》阅读小记

cat > test.txt << EOF：往test.txt写入内容，EOF表示结束。
不要让消费者的数量超过分区的数量，会导致一部分消费者闲置。
为每一个需要获取一个或多个主题全部消息的应用程序创建一个消费者群组，然后往群组里添加消费者来伸缩读取能力和处理能力，群组里的每个消费者只处理一部分消息。
一个消费者使用一个线程。
消费者需要通过轮询发送心跳，如果一次性处理太多消息，消费者需要很多时间来处理消息，可能导致无法及时轮询避免会话过期。
如果是持续运行的消费者，偏移量提交一次失败没有太大的关系，但是如果要关闭消费者或者要进行再均衡，就要保证最后一次偏移量的提交要成功。
Kafka使用主题来组织数据，每个主题被分成若干个分区，每个分区有多个副本。
每个分区都有一个首领副本，为了保证一致性，所有生产者和消费者的请求都会经过这个副本；首领副本以外的副本都是跟随者副本，跟随者副本不处理来自客户端的请求，它们唯一的任务就是从首领那里复制消息，保持与首领一致的状态，如果首领发生崩溃，其中的一个跟随者会被提升为新首领。
Kafka使用零复制技术向客户端发送消息，kafka直接把消息从文件里发送到网络通道，而不需要经过任何中间缓冲区，这是kafka与其他大部分数据库系统不一样的地方，其他数据库在将数据发送给客户端之前会先把它们保存在本地缓存里。
Kafka可以保证分区消息的顺序；只有当被写入分区的所有同步副本时，它才被认为是“已提交”的。消费者只能读取已经提交的消息。
流式处理是指实时地处理一个或多个事件流（有序的无边界的不可变的数据流）。

《Kafka权威指南》阅读小记相关推荐

kafka权威指南_Kafka-分区、片段、偏移量
[分区.片段.偏移量] 1. 每个分区是由多个Segment组成,当Kafka要写数据到一个partition时,它会写入到状态为active的segment中.如果该segment被写满,则一个新的 ...
IDA Pro 权威指南阅读摘要1
IDA Pro 权威指南阅读摘要1 文件加载使用File->Open命令打开一个新文件时,会看到加载对话框. Binary File (二进制文件)是加载类型列表的最后一个选项,它是IDA加载 ...
送5本《Kafka权威指南》第二版
文末送书科学家们每一次发生分歧都是因为掌握的数据不够充分.所以,我们可以先就获取哪一类数据达成一致,只要获取了数据,问题也就迎刃而解了.要么我是对的,要么你是对的,要么我们都是错的,然后继续. -- ...
MyCat权威指南阅读笔记(基础篇)
1.1何为数据切分? 简单来说,就是指通过某种特定的条件,将我们存放在同一个数据库中的数据分散存放到多个数据库(主机)上面,以达到分散单台设备负载的效果. 数据的切分(Sharding)根据其切分规 ...
Postfix权威指南-阅读笔记-架设和维护邮箱服务器
PostFix权威指南目录文章目录适用人群前言 1. 简介 Internet E-mail传递流程 2.基础概念在线说明书模拟SMTP对话常见响应状态码 4.基本的配置与管理默认安装目 ...
如何使用Kafka可靠地发送消息-《Kafka权威指南（第二版）》阅读笔记
可靠性是系统而不是某个独立组件的一个属性,所以,在讨论Kafka的可靠性保证时,需要从系统的整体出发.说到可靠性,那些与Kafka集成的系统与Kafka本身一样重要.正因为可靠性是系统层面的概念,所以 ...
【Kafka】《Kafka权威指南》入门
发布与订阅消息系统在正式讨论Apache Kafka (以下简称Kafka)之前,先来了解发布与订阅消息系统的概念, 并认识这个系统的重要性.数据(消息)的发送者(发布者)不会直接把消息发送给接收 ...
【Elastic Search权威指南读书小记3】ES之数据操作
有道云笔记 http://note.youdao.com/noteshare?id=5d6fcf9387989f865d70a055dea9882b&sub=898A3FCA4C2A4799 ...
《Kafka权威指南（第二版）》内容摘要
下图包含前7章主要内容,主要是业务应用程序开发人员使用Kafka时需要掌握的知识点
《Kafka权威指南》记录
生产者生产流程 32页生产者创建 Kafka生产者需要三个必须参数:broker地址清单,key和value的序列化方式 (如StringSerializer) 生产者发送 ACKS acks 参 ...

《Kafka权威指南》阅读小记

《Kafka权威指南》阅读小记相关推荐

最新文章

热门文章