Kafka 集群安装

一、集群准备

node1 192.168.157.128

node1 192.168.157.129

node1 192.168.157.130

二、安装zookeeper集群

Zookeeper 集群安装_傲傲娇的博客-CSDN博客

三、下载kafka

Apache Kafka

四、安装kafka

1. 将kafka安装包上传到服务器的/opt/apps目录下

2. 解压

tar -zxvf kafka_2.12-3.2.3.tgz

3. 创建kafka日志目录

cd kafka_2.12-3.2.3
mkdir logs

4. 修改kafka配置

编辑config目录下的server.properties文件，在不同的节点只需要更改不同的host.name和broker.id

# 每个broker在集群中的唯一标识，不能重复
broker.id=0
# 端口
port=9092
# broker主机地址或者hostname
host.name=node1
# broker处理消息的线程数
num.network.threads=3
# broker处理磁盘io的线程数
num.io.threads=8
# socket发送数据缓冲区
socket.send.buffer.bytes=102400
# socket接收数据缓冲区
socket.receive.buffer.bytes=102400
# socket接收请求最大值
socket.request.max.bytes=104857600
# kafka数据存放目录位置，多个位置用逗号隔开
log.dirs=/opt/apps/kafka_2.12-3.2.3/logs
# topic默认的分区数
num.partitions=1
# 恢复线程数
num.recovery.threads.per.data.dir=1
# 默认副本数
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
# 消息日志最大存储时间，这里是7天
log.retention.hours=168
# 每个日志分段文件大小，这里是1g
log.segment.bytes=1073741824
# 消息日志文件大小检查间隔时间
log.retention.check.interval.ms=300000
# zookeeper集群地址
zookeeper.connect=192.168.157.128:2181,192.168.157.129:2181,192.168.157.130:2181
# zookeeper连接超时时间
zookeeper.connection.timeout.ms=6000
# 推迟初始消费者再平衡时间。
group.initial.rebalance.delay.ms=0

5. 启动kafka（先启动zookeeper集群）

#到bin目录下执行
#后台启动加参数-daemon
./kafka-server-start.sh -daemon ../config/server.properties

6. 测试生产和消费

#生产消息
./kafka-console-producer.sh --broker-list 192.168.157.128:9092,192.168.157.129:9092,192.168.157.130:9092 --topic test-topic
#消费消息
./kafka-console-consumer.sh --bootstrap-server 192.168.157.128:9092,192.168.157.129:9092,192.168.157.130:9092 --topic test-topic

到此kafka集群安装完毕。

Kafka 集群安装相关推荐

KafKa集群安装、配置
一.事前准备 1.kafka官网:http://kafka.apache.org/downloads. 2.选择使用版本下载. 3.kafka集群环境准备:(linux) 192.168.145.12 ...
zookeeper+kafka集群安装之中的一个
zookeeper+kafka集群安装之中的一个准备3台虚拟机, 系统是RHEL64服务版. 1) 每台机器配置例如以下: $ cat /etc/hosts ... # zookeeper host ...
Kafka集群安装Version1.0.1(自带Zookeeper)
1.说明 Kafka集群安装,基于版本1.0.1, 使用kafka_2.12-1.0.1.tgz安装包, 其中2.12是编译工具Scala的版本. 而且不需要另外安装Zookeeper服务, 使用Ka ...
Kafka集群安装Version2.10
Kafka集群安装,基于版本2.10, 使用kafka_2.10-0.10.1.0.tgz安装包. 1.安装规划 Storm集群模式,安装到下面三台机器 IP Hostname 10.43.159.2 ...
centos7搭建Linux集群,CentOS 7下Kafka集群安装
一.环境操作系统和软件版本介绍 1.环境操作系统为CentOS Linux release 7.2.1511 (Core) 可用cat /etc/RedHat-release查询 2.软件版本 Kaf ...
Kafka集群安装--测试--关闭
一.前提 1.kafka安装包下载:http://kafka.apache.org/downloads 2.jdk已安装 3.scala已安装 4.zookeeper集群已安装并运行二.步骤 1.对 ...
kafka集群安装部署
Apache Kafka 是一个高吞吐量分布式消息系统,由LinkedIn开源.引用官网对kafka的介绍:"Apache Kafka is publish-subscribe messag ...
多易教育KAFKA实战(1)-KAFKA集群安装和shell客户端
注意kafka的安装需要依赖Zookeeper集群 ,所以安装kafka之前先安装zookeeper! zookeeper安装上传安装包解压 tar -zxvf zookeeper-3.4.6.t ...
win10下kafka集群安装+集成springboot
kafka安装+集成springboot 记录kafka安装.学习.继承springboot的过程文章目录 kafka安装+集成springboot 前言一.kafka + zk的安装 1.zk的 ...

Kafka 集群安装

Kafka 集群安装相关推荐

最新文章

热门文章