Kafka开发实战（二）-集群环境搭建

上一篇文章对Apache Kafka 做了一个简单的介绍， Kafka作为一个优秀的分布式消息系统具有以下优势：

分布式，高吞吐量
支持无限量消息堆积
Kafka Producer、Consumer设计实现都是轻量级，易于扩展

使用场景
本人主要使用Kafka+ELK来搭建日志分析系统。

下面开始搭建一个Kafka集群环境来做一些测试。

准备工作

三台server，运行Cent OS，它们的ip分别为172.18.19.206，172.18.19.207，172.18.19.208
安装JDK 1.7或1.8
安装Zookeeper

关于JDK、Zookeeper安装可以参考之前的两篇文章，这里就不再做介绍了。

安装&配置

1.下载Kafka
点此下载最新版本Kafka

下载 Scala 2.11 - kafka_2.11-0.9.0.1.tgz 即可

2.解压缩

[root@w206-ops-docker1 Kafka]# tar -xzvf kafka_2.11-0.9.0.1.tgz
[root@w206-ops-docker1 Kafka]# cd kafka_2.11-0.9.0.1

3.修改配置文件

[root@w206-ops-docker1 kafka_2.11-0.9.0.1]# vi config/server.properties

重点是以下配置：

broker.id=0
listeners=PLAINTEXT://:9092
port=9092
host.name=172.18.19.206
log.dirs=/data/kafka-logs
zookeeper.connect=172.18.19.206:2181,172.18.19.207:2181,172.18.19.208:2181

broker.id 标示当前server在集群中的id，从0开始
port 端口号
host.name 当前的server host name
zookeeper.connect 连接的zookeeper集群
log.dirs log的存储目录

Kafka安装配置到此就完成了，同理在172.18.19.207，172.18.19.208机器上进行配置。

启动服务

[root@w206-ops-docker1 kafka_2.11-0.9.0.1]# ./bin/kafka-server-start.sh config/server.properties

参考文档

Kafka quickstart

Kafka开发实战（二）-集群环境搭建相关推荐

kafka详解及集群环境搭建
一.kafka详解安装包下载地址:https://download.csdn.net/download/weixin_45894220/87020758 1.1Kafka是什么? 1.Kafka是一 ...
【Hadoop生态圈】1.Hadoop入门教程及集群环境搭建
文章目录 1.简介 2.环境准备 3.安装hadoop 3.修改Hadoop配置文件 3.1.hadoop-env.sh配置 3.2.core-site.xml配置 3.3.hdfs-site.xml ...
Kafka：ZK+Kafka+Spark Streaming集群环境搭建（二十一）NIFI1.7.1安装
一.nifi基本配置 1. 修改各节点主机名,修改/etc/hosts文件内容. 192.168.0.120master192.168.0.121slave1192.168.0.122 slave2 ...
Kafka：ZK+Kafka+Spark Streaming集群环境搭建（十二）VMW安装四台CentOS，并实现本机与它们能交互，虚拟机内部实现可以上网。...
Centos7出现异常:Failed to start LSB: Bring up/down networking. 按照<Kafka:ZK+Kafka+Spark Streaming集群环境搭 ...
Kafka：ZK+Kafka+Spark Streaming集群环境搭建（九）安装kafka_2.11-1.1.0
如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...
高吞吐消息中间件Kafka集群环境搭建（3台kafka，3台zookeeper）
高吞吐消息中间件Kafka集群环境搭建(3台kafka,3台zookeeper) 一.集群搭建要求 1.搭建设计 2.分配六台Linux,用于安装拥有三个节点的Kafka集群和三个节点的Zookeep ...
王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第五讲Hadoop图文训练课程：解决典型Hadoop分布式集群环境搭建问题
王家林的"云计算分布式大数据Hadoop实战高手之路---从零开始"的第五讲Hadoop图文训练课程:解决典型Hadoop分布式集群环境搭建问题参考文章: (1)王家林的&quo ...
学习笔记之-Kubernetes（K8S）介绍，集群环境搭建，Pod详解，Pod控制器详解，Service详解，数据存储，安全认证，DashBoard
笔记来源于观看黑马程序员Kubernetes(K8S)教程第一章 kubernetes介绍应用部署方式演变在部署应用程序的方式上,主要经历了三个时代: 传统部署:互联网早期,会直接将应用程序部署 ...
大数据 -- Hadoop集群环境搭建
首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统.它其实是将一个大文件分成若干块保存在不同服务器的多个节点中.通过联网 ...
APP自动化测试框架搭建（八）--ATX Server2多设备集群环境搭建
第一章 APP自动化环境搭建(Mac版) 第二章 APP自动化环境搭建(Windows版) 第三章 adb命令第四章元素定位.元素操作第五章 APP自动化测试框架搭建 Python+Appium ...

Kafka开发实战（二）-集群环境搭建

准备工作

安装&配置

启动服务

Kafka开发实战（二）-集群环境搭建相关推荐

最新文章

热门文章