kafka config参数配置简要说明

#kafka参数配置
#等待所有的replicas都响应后才返回响应，可靠性最高，但会降低吞吐率
acks=all
#发生Retriable exceptions可重试异常时，重试发送消息次数，最大为Integer.MAX_VALUE（这些重试与客户端接收到发送错误时的重试没有什么不同。允许重试将潜在的改变数据的顺序）
retries=0
#生成这批量发送的基本单位，默认16384Byte,即16KB。
batch.size=16384
#等待批量数据的时间，超过此时间，未达到批量发送基本单位也发送。（Kafka客户端积累一定量的消息后会统一组装成一个批量消息发出，满足batch.size设置值或达到linger.ms超时时间都会发送）
linger.ms=1
#当客户端发送速率大于发送到broker速率时，会出现消费在发送方堆积，buffer.memory设置了可使用的buffer内存大小
buffer.memory=33554432
#key值的序列化类
key.serializer=org.apache.kafka.common.serialization.StringSerializer
#value的序列化类
value.serializer=org.apache.kafka.common.serialization.StringSerializer
#设置消息确认方式（1、自动提交；2、手动提交：同步与异步）
enable.auto.commit=true
#自动提交offset到zookeeper的时间间隔
auto.commit.interval.ms=1000
#心跳超时时间（消费者保活）
session.timeout.ms=30000
key.deserializer=org.apache.kafka.common.serialization.StringDeserializer
value.deserializer=org.apache.kafka.common.serialization.StringDeserializer

kafka config参数配置简要说明相关推荐

Kafka一些参数配置
Producer消息发送 producer.send(msg); // 用类似这样的方式去发送消息,就会把消息给你均匀的分布到各个分区上去 producer.send(key, msg); // 订单 ...
kafka生产者参数配置，灵魂拷问
网站基础知识 (网站架构及其演变过程+常见协议和标准+DNS的设置+Java中Socket的用法+HTTP协议+详解Servlet+Tomcat分析) 俯视 Spring MVC (SpringMVC ...
五面拿下阿里飞猪offer，kafka生产者参数配置
Netty实战无论是想要学习Spring 5 .Spark.Cassandra等这样的系统,还是通过学习Netty来构建自己的基于Java的高性能网络框架,或者是更加具体的高性能Web或者游戏服务器 ...
最全Spring Boot2.x系列Config配置集成篇-1参数配置
文章目录前言一.两种配置文件 1.加载顺序上的区别 2.应用场景二.不同环境配置文件三.读取配置文件信息 1.@Value注解读取文件 2.Environment读取文件 3.@Configu ...
kafka集群参数配置(下)
今天我们继续来聊那些重要的 Kafka 集群配置,下半部分主要是 Topic 级别参数.JVM 参数以及操作系统参数的设置. 在上一期中,我们讨论了 Broker 端参数设置的一些法则,但其实 Kaf ...
kafka server broker参数配置
kafka broker的server配置路径为 $ZOOKEEPER_HOME/config/server.properties中,可根据需要进行配置 kafka broker 核心配置 #brok ...
CC00038.kafka——|Hadoopkafka.V23|——|kafka.v23|消费者拦截器参数配置|
一.消费者拦截器参数配置:消费者参数配置补充配置项说明 bootstrap.servers 建立到Kafka集群的初始连接用到的host/port列表. 客户端会使用这里指定的所有的host/po ...
kafka java jvm 优化_kafka优化–JVM参数配置优化
主要是启动脚本和log4j基本参数的设置和优化,这些参数藏的比较深. 1.JVM参数配置优化如果使用的CMS GC算法,建议JVM Heap不要太大,在4GB以内就可以.JVM太大,导致Major ...
ELK5.3+Kafka集群配置
[一]资源准备 # 3台4C*8G, 安装Zookeeper.Kafka.Logstash--Broker(input: filebeat; output: Kafka) 10.101.2.23 10 ...

kafka config参数配置简要说明

kafka config参数配置简要说明相关推荐

最新文章

热门文章