Kafka基本安装和启动

一、下载解压Kafka
二、启动zookeeper
三、启动Kafka
四、创建测试Topic
五、启动Producer
六、启动Consumer
七、Producer窗口发送消息
八、删除数据
九，有可能遇到问题

一、下载解压Kafka

在官网下载Kafka,我是基于Kafka2.5的版本进行下载安装的。

下载完成之后，进行解压安装配置

cd /ny/soft/
tar -xzvf kafka_2.13-2.5.0.tgz
cd kafka_2.13-2.5.0

二、启动zookeeper

kafka需要依赖ZK，安装包中已经自带了一个ZK，也可以改成指定已运行的ZK。
修改 kafka 安装目录下的 config/server.properties 文件中的

zookeeper.connect=192.168.56.234:2181

自定义zookeeper相关命令：

切换到zookeeper的bin目录下
启动命令： ./zkServer.sh start
查看命令：./zkServer.sh status 或者 ps -ef | grep zookeeper
关闭命令：./zkServer.sh stop

使用自带的zookeeper启动命令：

nohup ./bin/zookeeper-server-start.sh config/zookeeper.properties > /ny/soft/kafka_2.13-2.5.0/zookeeper.nohup 2>&1

三、启动Kafka

修改config/server.properties配置：
关联zookeeper:

zookeeper.connect=192.168.56.234:2181

配置基础信息：

broker.id=1 （Broker ID启动以后就不能改了）
listeners=PLAINTEXT://192.168.44.160:9092

num.partitions后面增加2行
发送到不存在topic自动创建。允许永久删除topic

auto.create.topics.enable=true
delete.topic.enable=true

启动Kafka:

./kafka-server-start.sh -daemon …/config/server.properties

查看日志：

启动之后要查看日志的话，切换到…/logs
ls -alt 排序查看日志
主要关注：KafkaServer.out和server.log

遇到错误信息：

因为java的环境配置不正确：因为Kafka启动是要依赖Jdk的，NPM安装的默认是在/usr/java/jdk1.8.0_144
错误信息：
/ny/soft/kafka_2.13-2.5.0/bin/kafka-run-class.sh: line 315: /usr/bin/java/bin/java: Not a directory
/ny/soft/kafka_2.13-2.5.0/bin/kafka-run-class.sh: line 315: exec: /usr/bin/java/bin/java: cannot execute: Not a directory

四、创建测试Topic

创建一个test的topic，一个副本，一个分区

切换到Kafka的bin目录下
./kafka-topics.sh --create --zookeeper ip:2181 --replication-factor 1 --partitions 1 --topic test

查看已经创建的topic

./kafka-topics.sh -list -zookeeper ip:2181

五、启动Producer

./kafka-console-producer.sh --broker-list ip:9092 --topic test

六、启动Consumer

./kafka-console-consumer.sh -bootstrap-server ip:9092 --topic test --from-beginning

七、Producer窗口发送消息

在Producer发送消息，消费端则能看到

八、删除数据

首先停止Kafka服务，ps -ef | grep kafka kill 或者在Kafka的bin目录下执行./kafka-server-stop.sh 来进行停止即可
将所有相关的Kafka生产者和消费者停掉
修改server.properties里面的参数:auto.create.topics.enable = false,如果为true的话，会自动创建topic，会有影响)
修改server.properties里面的参数:delete.topic.enable=true允许删除
./kafka-topics.sh …/config/server.properties --delete --zookeeper ip:2181 --topic test来进行删除
删除Kafka存储目录(server.properties文件log.dirs配置，默认为“/tmp/kafka-logs“)全部topic的数据目录
删除Zookeeper上的节点数据,除了/zookeeper

进入到zookeeper的bin目录
./zkCli.sh
查看topic : ls /brokers/topics
删除：rmr /brokers/topics/topic名称
获得节点信息：get /
输入 deleteall /brokers/topics/test 删除

重启Kafka

九，有可能遇到问题

kafka配置的ip无法启动：。
修改server.properties文件中的
#允许外部端口连接
listeners=PLAINTEXT://0.0.0.0:9092
#外部代理地址
advertised.listeners=PLAINTEXT://192.168.0.175:9092
advertised.listeners中的ip改为真实ip[ifconfig中显示的ip]即可，其他使用时正常使用对外ip即可，跟真实ip就没有关系了。

Kafka基本安装和启动相关推荐

kafka的安装与启动运行
kafka简介 kafka是一种高吞吐量的分布式发布订阅消息系统. 环境搭建 1.首先安装JDK 下载地址https://www.oracle.com/technetwork/java/javase/ ...
kafka的安装和启动
一.kafka介绍 1,kafka简单介绍 kafka是一款分布式.支持分区的.多副本,基于zookeeper协调的分布式消息系统.最大的特性就是可以实时处理大量数据来满足需求. 2,kafka使用场 ...
kafka 启动_Kafka的安装与启动
安装在mac上可以使用brew install kafka进行kafka的安装,在安装kafka时,会自动检测有无zookpeer,如果没有的话也会安装一个. 启动kafka 启动kafka,首先要 ...
Apache Kafka（二）- Kakfa 安装与启动
安装并启动Kafka 1.下载最新版Kafka(当前为kafka_2.12-2.3.0)并解压: > wget http://mirror.bit.edu.cn/apache/kafka/2.3 ...
Linux Kafka安装与启动
1. kafka安装与配置官网下载安装解压缩:http://kafka.apache.org/downloads 下载解压启动启动命令:bin/kafka-server-start.sh -dae ...
kafka mysql安装与配置_Mac环境canal+mysql+kafka的安装及使用
为了实现实时同步数据,在mac环境搭建了canal,mysql,kafka的一套流程使用canal加mysql加kafka的方式传递数据 mysql 数据源头 canal模仿slave冲mysql ...
Docker Kafka 单机版安装
一.安装下载library/zookeeper并运行 docker run --name zookeeper -d -p 2181:2181 -v /etc/localtime:/etc/local ...
kafka 的安装部署
Kafka 的简介: Kafka 是一款分布式消息发布和订阅系统,具有高性能.高吞吐量的特点而被广泛应用与大数据传输场景.它是由 LinkedIn 公司开发,使用 Scala 语言编写,之后成为 Ap ...
Kafka单机安装Version1.0.1(自带Zookeeper)
1.说明 Kafka单机安装,基于版本1.0.1, 使用kafka_2.12-1.0.1.tgz安装包, 其中2.12是编译工具Scala的版本. 而且不需要另外安装Zookeeper服务, 使用Ka ...

Kafka基本安装和启动

Kafka基本安装和启动

一、下载解压Kafka

二、启动zookeeper

三、启动Kafka

四、创建测试Topic

五、启动Producer

六、启动Consumer

七、Producer窗口发送消息

八、删除数据

九，有可能遇到问题

Kafka基本安装和启动相关推荐

最新文章

热门文章