安装配置kafka集群
1、配置虚拟机zookeeper集群
见上一篇博客
2、下载安装Kafka
0 )官方下载地址:http://kafka.apache.org/downloads.html
1 )下载解压安装包
wget https://dlcdn.apache.org/kafka/3.1.0/kafka_2.12-3.1.0.tgz --no-check-certificate
tar -zxvf kafka_2.12-3.0.0.tgz
2 )修改配置文件
vim kafka_2.12-3.1.0/config/server.properties
输入以下内容:
#broker 的全局唯一编号,不能重复,只能是数字。
broker.id=0
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘 IO 的线程数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka 运行日志(数据)存放的路径,路径不需要提前创建,kafka 自动帮你创建,可以
配置多个磁盘路径,路径与路径之间可以用","分隔
log.dirs=/opt/kafka/data
#topic 在当前 broker 上的分区个数
num.partitions=1
#用来恢复和清理 data 下数据的线程数量
num.recovery.threads.per.data.dir=1
# 每个 topic 创建时的副本数,默认时 1 个副本
offsets.topic.replication.factor=1
#segment 文件保留的最长时间,超时将被删除
log.retention.hours=168
#每个 segment 文件的大小,默认最大 1G
log.segment.bytes=1073741824
# 检查过期数据的时间,默认 5 分钟检查一次是否数据过期
log.retention.check.interval.ms=300000
#配置连接 Zookeeper 集群地址(在 zk 根目录下创建/kafka,方便管理)
zookeeper.connect=host001:2181,host002:2181,host003:2181/kafka
3 )分发安装包到集群其他节点
xsync kafka/
4 )分别在 hadoop103 和 hadoop104 上修改配置文件kafka_2.12-3.1.0/config/server.properties
中的 broker.id=1、broker.id=2, id不能重复
5 )配置环境变量
在/etc/profile.d/my_env.sh 文件中增加 kafka环境变量配置
vim /etc/profile.d/my_env.sh
#增加如下内容:#KAFKA_HOME
export KAFKA_HOME=/opt/kafka/kafka_2.12-3.1.0/
export PATH=$PATH:$KAFKA_HOME/bin
分发环境变量文件到其他节点,并分别 source刷新一下环境变量。
xsync /etc/profile.d/my_env.sh
source /etc/profile
6)集群 启停脚本
vim kf.sh
内容如下:
#! /bin/bash
case $1 in
"start"){for i in host001 host002 host003 doecho " --------启动 $i Kafka-------"ssh $i "/opt/kafka/kafka_2.12-3.1.0/bin/kafka-server-start.sh -daemon /opt/kafka/kafka_2.12-3.1.0/config/server.properties"done
};;
"stop"){for i in host001 host002 host003 doecho " --------停止 $i Kafka-------"ssh $i "/opt/kafka/kafka_2.12-3.1.0/bin/kafka-server-stop.sh "done
};;
esac
同步一下:xsync kf.sh
启动集群,默认zk集群已经启动:
需要先启动zk集群,才能启动kafka, kafka2.8后可以不用zk集群
./kf.sh start
停止集群:
需要先关kafka再关zk集群,否则kafka关不了
./kf.sh stop
运行时可能会报错,出现 java not found,使用以下命令解决
ln -s $JAVA_HOME/bin/java /usr/bin/java
安装配置kafka集群相关推荐
- Centos7+Elasticsearch7.4.2+Kibana+IK分词+ElasticHD 安装配置以及集群搭建
Centos7+Elasticsearch7.4.2+Kibana+IK分词+ElasticHD 安装配置以及集群搭建 1. elasticSearch 7.4.2 安装 1.1 关于jdk 1.2 ...
- RabbitMQ安装+配置远程访问+集群(windows)
RabbitMQ安装+配置远程访问+集群(windows) 1.安装RabbitMQ 1.下载安装包: 运行环境erlang: http://www.erlang.org/downloads 安装包: ...
- mysql在ibm上安装教程_在ibm服务器上安装配置MySQL集群的方法
在ibm服务器上安装配置MySQL集群的方法 2014-07-13 16:45来源:中国存储网 导读:本文只是介绍安装和配置,关于一些名词和原理,请参考MySQL手册.一.环境:IBM x3560Vm ...
- Kafka---如何配置Kafka集群和zookeeper集群
2019独角兽企业重金招聘Python工程师标准>>> Kafka的集群配置一般有三种方法,即 (1)Single node – single broker集群: (2)Single ...
- 安装搭建kafka集群
文章目录 一.简介 二.kafka架构 三.kafka安装部署 四.启动kafka集群 五.测试 一.简介 Kafka,分布式的消息队列系统(Message Queue)官网:https://kafk ...
- Linux中安装配置hadoop集群
原文:http://www.cnblogs.com/lijingchn/p/5574476.html 一. 简介 参考了网上许多教程,最终把hadoop在ubuntu14.04中安装配置成功.下面就把 ...
- Docker配置Kafka集群
使用docker-compose创建kafka集群 因为 kafka 需要用到 zookeeper(3.0之后就可以使用 kraft 而不用 zookeeper 了),并且还要创建多个 kafka 容 ...
- FreeBSD下安装配置Hadoop集群(性能调优)
hadoop的性能调优是个比较艰难的事情,由于这个系统的整个环境比较复杂,对于接触时间不长的人来说,配置都很难,更别说找出性能优化的点了. 性能优化涉及的方面很广,操作系统,网络配置,配置文件,调度器 ...
- Hadoop HIVE 安装配置(单机集群)
hive配置只与mysql有关,会自动根据hadoop_home来找数据,所以不必配置相应的datanode和namenode,也不必管单机还是集群 解析SQL语法,组装成一个mapreduce jo ...
最新文章
- 使用TextInputLayout分分钟构造一个酷炫登录框架
- java中模板方法的设计模式
- python实现一个商品管理_python编写商品管理
- 最新天猫面试题(含总结):线程池+并发编程+分布式设计+中间件
- 【Python】Matplotlib绘制日期型时间序列图
- 避免使用GroupByKey
- 第四次博客:循环单链表解决约瑟夫环问题
- 浏览器窗口可视区域大小相关方法
- 网站SEO域名、URL路径优化
- ASoC Machine驱动代码框架图
- vue.js devtools安装
- (转)2006年100款最佳安全工具谱
- 通过表达式树构建URL时正确识别ActionNameAttribute
- 表白代码(纯干货),送给你爱的人
- 动态相关系数dcc_常相关系数(CCC)和动态条件相关系数(DCC)
- javascript-异步之Promise then和catch
- ThinkPHP5分页样式
- 根据代表性序列预测OTU/ASV生活史策略——寡营养型or富营养型
- android手机电视助手是如何控制电视的呢?
- 全球与中国琴键式拨码开关市场现状及未来发展趋势
热门文章
- 2021最新去水印小程序源码
- Java冒泡排序原理速记,选择排序原理速记
- 怎样利用计算机模拟掷骰子实验,概率论实验报告-随机数模拟掷骰子.doc
- MindSpore:云道mindspore自定义镜像不能使用mindspore进行多卡训练
- 在mac中添加subl命令 用命令行时用sublime打开文件 阿星小栈
- c语言课程图书信息管理系统,c语言课程设图书信息管理系统.doc
- Linux_day3
- c语言基础练习题及答案,C语言基础练习题(含答案)
- 翁刚c语言,1第一章C语言入门.ppt
- 腾讯云GPU云服务器产品概述和产品优势,GPU计算型应用场景