CDH安装Kafka

环境：三台机器（CentOS6.5）
CDH：5.7.0

下载parcel包

CDH的parcel包中不含有Kafka，需要单独下载

http://archive.cloudera.com/kafka/parcels/
在这里选择版本

对于不同的CDH版本，对应的Kafka版本也不同
官网给出的对应关系：

注意Kafka所对应的系统，

EL6 is the download for Red Hat 6.x, CentOS 6.x, and CloudLinux 6.x.
EL5 is the download for Red Hat 5.x, CentOS 5.x, CloudLinux 5.x.
EL7 is the download for Red Hat 7.x, CentOS 7.x, and CloudLinux 7.x.

下载三个，后缀是parcel、sha1和manifest.json（注意下好后把后缀sha1修改为sha），如：

KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel
KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel.sha
manifest.json

把这三个文件，放到master节点的/opt/cloudera/parcel-repo下。

下载KAFKA-1.2.0.jar

地址：

http://archive.cloudera.com/csds/kafka/

放到master节点的/opt/cloudera/csd目录下

分配激活Kafka

在最上面一行，点主机–》Parcel，找到kafka的parcel，点分配，分配完成后点激活。

安装

点击集群的安装服务选项，选择kafka。
选择kafka broker和kafka monitiormaker的节点，broker可以选三个，kafka monitiormaker选一个就好（根据情况变化）。

填写Destination Brokers List和填写Source Brokers List：

填写Destination Brokers List
填写添加了Kafka MirrorMaker的节点的ip+端口号，比如：192.168.204.201:9092填写Source Brokers List
Kafka Broker所在节点的ip+端口号，比如：192.168.204.201:9092,192.168.204.202:9092,192.168.204.203:9092

可能出现的问题

安装步骤中启动失败：查看日志没有FATAL级别信息，有关联的可能也就是这个
Opening socket connection to server hadoop001/192.168.204.201:2181. Will not attempt to authenticate using SASL (unknown error)
退出安装界面，进入主界面修改默认的Kafka参数Java Heap Size of Broker（broker_max_heap_size），比如修改为1G。（也有可能是内存过小）

启动失败查看日志发现：
Configured broker.id 52 doesn't match storedbroker.id 49 in meta.properties.
根据报错的信息需要修改broker.id（在配置里搜broker.id）

CDH安装Kafka相关推荐

解决CDH 安装Kafka服务中的各种问题
通过CDH安装Kafka服务常见问题一.内存溢出问题在Kafka配置页面搜索Java调整对应的Java堆大小,如下图操作: 二.启动Kafka MirrorMaker服务失败提示whitelist ...
CDH安装kafka组件启动失败
CDH安装kafka组件启动失败提示"Configured broker.id 465 doesn't match stored broker.id 274 in meta.properti ...
基于CDH安装KAFKA
一.相关环境 1.centos7 2.CDH6.3.2 3.JDK1.8.0_271 二.安装KAFKA 1.进入CM管理主页面(点击红色方框,添加服务) 2.选择KAFKA点击继续 3.选择brok ...
CDH6.2.1安装Kafka出现的问题
前言之前用的CDH 5.6.X版本,默认是没有Kafka的,刚刚搭建了一个新的集群,用的CDH6.2.1,自带了kafka不需要我们下载parcels包根据以往在CDH安装组件的经验,应该是非常e ...
[CDH安装]--CDH5和Cloudera Manager 5要求和支持的版本
原文: https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html# ...
Hadoop之CDH安装
1. 离线数据存储及查询环境部署离线数据的存储与查询主要是以hadoop为中心的技术栈,包括hive,hbase,hue,kylin等.部署hadoop的方式比较流行的主要有三种: 1. 直接部署A ...
从安装Kafka服务到运行WordCount程序
之所以写这篇文章,是因为Kafka初学的同学在了解了Kafka的基本原理之后,希望在自己的机器上面运行最简单的wordCount的时候,从开始安装Kafka到找到合适的example源码最后到成功运行 ...
安装kafka过程及出现的问题解决
安装kafka过程及出现的问题解决参考文章: (1)安装kafka过程及出现的问题解决 (2)https://www.cnblogs.com/prettrywork/p/10616163.html ...
win10安装kafka
最近在学习消息中间件,ActiveMQ.RabbitMQ都进行了最基本的了解,现在开始学习Kafka.学习kafka的第一个问题就是安装kafka,于是在网上进行了疯狂的寻找,功夫不负有心人,终于找到 ...