伪分布式的方式安装kafka

启动3台kafka Brokers

安装过程

上传解压

kafka_2.11-0.8.2.1 版本

百度云链接：https://pan.baidu.com/s/1y7e4psxpqSuonW05GurnQw
提取码：cjlr

注意kafka是用scala语言写的，scala的版本之间不相容，所以kafka版本之间不相容

配置

（bigdata-hpsk01.huadian）是我的主机名

（9092）是我端口号

kafka需要zookeeper服务

配置 conf/server.properties

配置唯一标识符
           第20行
           broker.id=9092
       配置Broker端口
           第25行
           port=9092
       配置Broker运行主机名称
           第28行
           host.name=bigdata-hpsk01.huadian.com
       配置日志文件存储目录
           第58行
           log.dirs=/opt/modules/kafka_2.11-0.8.2.1/kafkaDatas/data9092
       配置ZK地址以及存储ZNode根目录
           第118行
           zookeeper.connect=bigdata-hpsk01.huadian.com:2181/kafka

复制server.properties，分别为server9092.properties

server9093.properties,
server9094.properties
记得修改对应broker ID，port,日志目录将9092 替换成9093，9094

启动服务

需要先启动Zookeeper
启动kafka进程

    bin/kafka-server-start.sh -daemon config/server9092.properties       bin/kafka-server-start.sh -daemon config/server9093.properties        bin/kafka-server-start.sh -daemon config/server9094.properties

创建topic

bin/kafka-topics.sh --create --zookeeper bigdata-hpsk01.huadian.com/kafka --replication-factor 2 --partitions 3 --topic testTopic--replication-factor：副本数 ，需要<Brokers 数量--partitions：分区数

查看Kafka Cluster中有多少topic

bin/kafka-topics.sh --list --zookeeper bigdata-hpsk01.huadian.com/kafka

模拟生产者发送数据到Topic中

bin/kafka-console-producer.sh --broker-list bigdata-hpsk01.huadian.com:9092,bigdata-hpsk01.huadian.com:9093,bigdata-hpsk01.huadian.com:9094 --topic testTopic

模拟消费者消费Topic中数据

 bin/kafka-console-consumer.sh --zookeeper bigdata-hpsk01.huadian.com/kafka --topic testTopic --from-beginning

Kafka 伪分布式安装相关推荐

hadoop伪分布式安装
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/qq1010885678/article/details/43447733 首先需要有一台linux的 ...
ZooKeeper：win7上安装单机及伪分布式安装
zookeeper是一个为分布式应用所设计的分布式的.开源的调度服务,它主要用来解决分布式应用中经常遇到的一些数据管理问题,简化分布式应用,协调及其管理的难度,提高性能的分布式服务. 本章的目的:如何 ...
HBase基础和伪分布式安装配置
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/qq1010885678/article/details/43796441 一.HBase(NoSQL ...
hbase 伪分布安装 java_HBase基础和伪分布式安装配置
一.HBase(NoSQL)的数据模型 1.1 表(table),是存储管理数据的. 1.2 行键(row key),类似于MySQL中的主键,行键是HBase表天然自带的,创建表时不需要指定 1.3 ...
hadoop 2.7.3伪分布式安装
hadoop 2.7.3伪分布式安装 hadoop集群的伪分布式部署由于只需要一台服务器,在测试,开发过程中还是很方便实用的,有必要将搭建伪分布式的过程记录下来,好记性不如烂笔头. hadoop 2. ...
centos 7下Hadoop 2.7.2 伪分布式安装
centos 7 下Hadoop 2.7.2 伪分布式安装,安装jdk,免密匙登录,配置mapreduce,配置YARN.详细步骤如下: 1.0 安装JDK 1.1 查看是否安装了openjdk [l ...
hadoop hbase java_Hadoop、Hbase伪分布式安装
环境本文介绍Hadoop.Hbase的伪分布式安装. 操作系统: Centos7 Hadoop: 2.7.3 Hbase: 1.2.3 Hadoop安装 JAVA_HOME环境变量配置由于Hbas ...
Hadoop单机伪分布式安装(完整版)
在学习Hadoop时,我发现网上的各种安装的资料要不不全,要不前后不匹配(比如有的是伪分布式,有的是完全分布式).此篇文章,我总结了身边的同学在安装Hadoop时遇到的毛病,在前面安装配置环节,尽可能 ...
单机安装 hadoop 环境（Hadoop伪分布式安装）
任务描述: 作为某公司运维工程师,需在单机安装 hadoop 环境(Hadoop伪分布式安装).本环节需要使用 root用户完成相关配置,具体部署要求如下: 1. 关闭虚拟机防火墙 2. 修改&quo ...

Kafka 伪分布式安装