kafuka学习之路(一)kafuka安装和简单使用
一,安装环境与软件版本
linux | centOs6 64 |
jdk | jdk-8u191-linux-x64.tar.gz |
zookeeper | zookeeper-3.4.10.tar.gz |
kafuka | kafka_2.11-0.11.0.2 |
二,安装
##解压
-rwxrw-rw-. 1 root root 42136632 Jun 11 01:55 kafka_2.11-0.11.0.2.tgz
drwxr-xr-x. 12 1001 1001 4096 Jun 11 05:35 zookeeper-3.4.10
[root@localhost module]# tar -xvf kafka_2.11-0.11.0.2.tgz
[root@localhost kafka_2.11-0.11.0.2]# ll
total 56
drwxr-xr-x. 3 root root 4096 Nov 10 2017 bin
drwxr-xr-x. 2 root root 4096 Nov 10 2017 config
drwxr-xr-x. 2 root root 4096 Jun 11 20:09 libs
-rw-r--r--. 1 root root 28824 Nov 10 2017 LICENSE
drwxr-xr-x. 2 root root 4096 Jun 11 20:10 logs
-rw-r--r--. 1 root root 336 Nov 10 2017 NOTICE
drwxr-xr-x. 2 root root 4096 Nov 10 2017 site-docs##添加日志文件夹
[root@localhost kafka_2.11-0.11.0.2]# mkdir logs
[root@localhost kafka_2.11-0.11.0.2]# ll#修改配文件
[root@localhost kafka_2.11-0.11.0.2]# cd config/
[root@localhost config]# vim server.properties
broker.id=1 #broker的全局唯一编号,不能重复(我的是跟zk的myid一样)
delete.topic.enable=true
listeners=PLAINTEXT://192.168.8.132:9092
log.dirs=/opt/module/kafka_2.11-0.11.0.2/logs
zookeeper.connect=192.168.8.129:2181,192.168.8.132:2181,192.168.8.133:2181
三,启动和创建分区使用
注:zookeeper集群启动正常的前提下
#启动
[root@localhost kafka_2.11-0.11.0.2]# bin/kafka-server-start.sh config/server.properties &#关闭
[root@localhost kafka_2.11-0.11.0.2]# bin/kafka-server-stop.sh stop##创建topic
#topic 定义topic名
#replication-factor 定义副本数
#partitions 定义分区数
[root@localhost kafka_2.11-0.11.0.2]# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test bin/kafka-topics.sh --zookeeper localhost:2181 --create --replication-factor 3 --partitions 3 --topic test
Created topic "test".
##查看topic 列表
[root@localhost kafka_2.11-0.11.0.2]# bin/kafka-topics.sh --zookeeper localhost:2181 --list
test##查看详情
[root@localhost kafka_2.11-0.11.0.2]# bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic test
Topic:test PartitionCount:3 ReplicationFactor:3 Configs: MarkedForDeletion:trueTopic: test Partition: 0 Leader: -1 Replicas: 0,1,2 Isr: 2Topic: test Partition: 1 Leader: -1 Replicas: 1,2,0 Isr: 2Topic: test Partition: 2 Leader: -1 Replicas: 2,0,1 Isr: 2##删除topic
[root@localhost kafka_2.11-0.11.0.2]# bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test
Topic test is marked for deletion.
Note: This will have no impact if delete.topic.enable is not set to true.
#如果集群里有某个kafuka没有设置 delete.topic.enable=true ,
#则不会删除,需要全部重新启动后,再删除才可
#删除成功后的标记
[root@localhost kafka_2.11-0.11.0.2]# bin/kafka-topics.sh --zookeeper localhost:2181 --list
test - marked for deletion
#再zk里删除注册的节点
rmr /brokers/topics/【topic name】
四,简单使用
##发送消息(localhost 必须是本机的ip)
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic topicTest##消费消息(localhost 必须是本机的ip)
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic topicTest#生产
[root@localhost kafka_2.11-0.11.0.2]# bin/kafka-console-producer.sh --broker-list 192.168.8.129:9092 --topic test1
>123
>123
>123
>123
>123
>123
>123
>hool^H^H
>holl
>hello
>hello
>#消费1
[root@localhost kafka_2.11-0.11.0.2]# bin/kafka-console-consumer.sh --zookeeper 192.168.8.132:2181 --from-beginning --topic test1
Using the ConsoleConsumer with old consumer is deprecated and will be removed in a future major release. Consider using the new consumer by passing [bootstrap-server] instead of [zookeeper].
123
123
123
123
123
123
123
hool
holl
hello
hello#消费2,中途退出后在进来,前期的消息会乱序
[root@localhost kafka_2.11-0.11.0.2]# bin/kafka-console-consumer.sh --zookeeper 192.168.8.133:2181 --from-beginning --topic test1
Using the ConsoleConsumer with old consumer is deprecated and will be removed in a future major release. Consider using the new consumer by passing [bootstrap-server] instead of [zookeeper].
123
123
123
hello
123
123
hool
123
123
holl
hello
kafuka学习之路(一)kafuka安装和简单使用相关推荐
- Redis学习之路(一)--下载安装redis
redis学习之路--下载安装redis windows安装redis 1.下载redis 2.安装 3.查看是否安装成功 windows安装redis 1.下载redis 网址:https://gi ...
- 【itext学习之路】--1.创建一个简单的pdf文档
来源:https://blog.csdn.net/tomatocc/article/details/80666011 iText是著名的开放源码的站点sourceforge一个项目,是用于生成PDF文 ...
- OpenCV学习之路之OpenCV安装(VS2013版)
开始学习OpenCV,首先就是成功的将OpenCV装载到电脑上. 版本选择的是目前官网上可以下载的2.4.13,我的vs版本是2013. 花了差不多四个小时的时间才算是安装加调试全部完成. http: ...
- elasticsearch学习之路---Linux 下安装并启动elasticsearch
1.进入elastic官网下载elasticsearch 点击打开链接,,选择tar,右键复制链接 2.进入命令行输入: wget https://artifacts.elastic.co/downl ...
- java学习之路之播放一首简单的音乐
1.首先,要去网上下载个JMF工具,这个工具可以播放通常情况下的Mp3音乐文件和视频,也叫做Java媒体框架,可以去官网下载JMF官网下载,下载完之后,有个jmf的exe安装文件,双击打开进行安装,安 ...
- java ant 安装成功_Ant学习---第一节:Ant安装和简单使用
一.下载 ant 插件,路径如下: 二.安装 ant 插件,解压下载下来的 ant 插件,配置环境变量(最好系统环境变量),如下: ANT_HOME:D:\learn_tool\apache-ant- ...
- Ant学习---第一节:Ant安装和简单使用
一.下载 ant 插件,路径如下: http://ant.apache.org/bindownload.cgi 二.安装 ant 插件,解压下载下来的 ant 插件,配置环境变量(最好系统环境变量), ...
- Flume学习笔记(一)安装与简单使用
本文环境如下: 操作系统:CentOS 7.2.1511 64位 Flume版本:1.6.0 1. 系统需求 Flume需要Java 1.6及以上(推荐1.7),对Agent监控目录的读写权限. 2. ...
- 我的mongo学习之路
mongo学习之路 mongodb的安装,在这里就不做介绍了,不管是windows还是mac,网上都有教程,可以自行学习一下~~~ 一.启动 mongod 复制代码 二.链接 mongo 复制代码 三 ...
最新文章
- 【贪心】【codeforces】651A Joysticks
- 简单的MapReduce实践
- MySQL本人工具使用
- 10 | 案例篇:系统的软中断CPU使用率升高,我该怎么办?
- Android开发之通过Android Studio自带插件git创建分支,合并分支等
- python3.7.1使用_使用python3和pytorch1.7.1运行dface
- mysql中如何删除表中int约束,MySQL中的约束,添加约束,删除约束,以及其他修饰
- vc++调用jni_通过JNI使用C ++尖叫快速进行Lucene搜索
- 一个问题就可以辨别真假NLP(自然语言处理)研究者
- 【2016年第1期】CCF大专委2016年大数据发展趋势预测—— 解读和行动建议
- 在Ubuntu X64上编译Hadoop
- Java 并发编程之读写锁 ReentrantReadWriteLock
- python导入data-Python通过load data导入MySQL数据
- 大话Neo系列:Merkle Tree
- 20款免费公司企业wordpress主题
- 浅学一下XMind思维导图
- 企业研发人员配备比例_……企业职工人数、学历结构以及研发人员占企业职工比例说明...
- 北邮通信博士万字长文,带你深入了解 4G/5G 区别!
- 历届试题 大臣的旅费 java
- switch default多次触发