文章目录

7 confluent配置
- 7.0 背景
- 7.1 下载安装
- 7.2 配置环境变量
- 7.3 开放监听端口
- 7.4 安装debezium插件
- 7.5 启动confluent
- 7.6 配置debezium mysql connector
- 7.7 启动mysql到debezium的数据库连接
- 7.8 查看当前topic列表
- 7.9 kafka进行消息消费

7 confluent配置

在除去Hadoop集群的其他机器配置，这里在10.20.3.75配置。

7.0 背景

安装conluent（kafka的企业版本，自带zookeeper、kafka、ksql、kafka-connector等，confluent同时还提供一个必要组件：schema-registry，这个必须装）。

7.1 下载安装

下载地址
和连接器配置参数。

这里使用直接下载的安装包进行安装:

unzip confluent-6.1.0.zip

移到指定目录：

mv confluent-6.1.0 /usr/app/confluent-6.1.0

7.2 配置环境变量

vi /etc/profile

添加环境变量：

#CONFLUENT_HOME.
export CONFLUENT_HOME=/usr/app/confluent-6.1.0
export PATH=$PATH:$CONFLUENT_HOME/bin

环境变量生效：

source /etc/profile

7.3 开放监听端口

# cd /usr/app/confluent-6.1.0/etc/kafka
# vi server.properties

更改下面这行代码：

advertised.listeners=PLAINTEXT://[your_hostname]:9092

改为：

advertised.listeners=PLAINTEXT://10.20.3.72:9092

7.4 安装debezium插件

创建文件夹：

mkdir -p /usr/app/confluent-6.1.0/share/kafka/plugins

把debezium解压到该文件夹：

tar -zxvf debezium-connector-mysql-1.5.0-20210311.061256-282-plugin.tar.gz -C /usr/app/confluent-6.1.0/share/kafka/plugins

配置kafka插件路径：

# vi /usr/app/confluent-6.1.0/etc/kafka/connect-standalone.properties

添加内容：

plugin.path=/usr/app/confluent-6.1.0/share/kafka/plugins

7.5 启动confluent

confluent local services start

7.6 配置debezium mysql connector

新建目录：

mkdir -v /usr/app/confluent-6.1.0/props

创建配置文件：

vi mysql.properties

内容如下：

name=mysql#connector 名称，唯一
connector.class=io.debezium.connector.mysql.MySqlConnector
#connector 插件
database.hostname=10.20.3.82#数据库hostname
database.port=3306#数据库的端口号
database.user=root#数据库用户有访问binlog权限
database.password=root#数据库密码
database.server.id=16
#server id 同一个数据库的serverId不能有重复的
database.server.name=debe
#server name记录DDL动作的topic名称，给消费端使用的
database.whitelist=cdc_zy
#schema白名单，只监控白名单库下的【kafaka主题中debe后的主题】，和blacklist参数互相冲突
database.history.kafka.bootstrap.servers=10.20.3.72:9092
# kafka
database.history.kafka.topic=history.zy
#记录所有schema变动记录的topic[给连接器使用的]
include.schema.changes=true
# 监控schema变动，写入一个名称和server name一样的topic内
include.query=true# 将执行的sql也记录下来，mysql：binlog_rows_query_log_events=ON
# options: adaptive_time_microseconds（default）adaptive(deprecated)connect()
time.precision.mode=connect
# options: precise(default) double string
decimal.handling.mode=string
# options: long(default) precise
bigint.unsigned.handling.mode=long

在10.20.3.82的数据库机器上，/etc/my.cnf的mysqld下添加如下配置：

server-id         = 223344
log_bin           = mysql-bin
binlog_format     = row
binlog_row_image  = full
expire_logs_days  = 10

7.7 启动mysql到debezium的数据库连接

如果是让进程成为守护进程【关闭终端后，不会停止】，则使用daemon指令，否则则可以不使用。

connect-standalone -daemon /usr/app/confluent-6.1.0/etc/kafka/connect-standalone.properties /usr/app/confluent-6.1.0/props/mysql.properties

查看是否运行成功:

curl -s http://10.20.3.75:8083/connectors -X GET

如果显示例如["mysql"][root@hdp-jk-4 bin]#的["mysql"]前缀，则说明运行成功。

7.8 查看当前topic列表

kafka-topics --list --zookeeper localhost:2181

7.9 kafka进行消息消费

kafka-console-consumer  --bootstrap-server localhost:9092 --topic [topic_name] --from-beginning

confluent【kafka企业版】安装配置————附带详细信息相关推荐

mysql 5.720安装_MySQL 5.7.27下载安装配置的详细教程
前言在安装MySQL的时候会遇到很多问题,博客上有很多解决问题的办法,在这里我附上一些链接,遇到问题的朋友们可以阅读参考哈~本文主要针对于刚接触数据库的小白,来安装MySQL数据库.目前官网上的My ...
VMware虚拟机安装配置Android-x86详细教程
VMware虚拟机安装配置Android-x86详细教程工作环境:cn_windows_7_ultimate_with_sp1_x86 工具:VMware Workstation 10.0 and ...
在 Mac OSX 版的 LispBox 环境上安装配置 SBCL 详细过程
2019独角兽企业重金招聘Python工程师标准>>> 在 Mac OSX 版的 LispBox 环境上安装配置 SBCL 详细过程今天在OSX版的 LispBox(使用CCL) ...
mysql 5.7.18-winx64_mysql-5.7.18-winx64安装配置的详细操作
mysql-5.7.18-winx64安装配置的详细操作发布时间:2020-06-04 15:34:19 来源:51CTO 阅读:209 作者:三月本篇文章给大家主要讲的是关于mysql-5.7. ...
每天一个脱发小技巧 | Eclipse环境下spotbugs的安装配置和详细使用方法
每天一个脱发小技巧 | Eclipse环境下spotbugs的安装配置和详细使用方法 SpotBugs介绍 Eclipse环境下SpotBugs安装 SpotBugs的使用其他 SpotBugs介绍 ...
lamp 配置mysql_LAMP安装配置超详细讲解
LAMP 安装配置配置环境操作系统:Redhat Enterprise AS 4 已安装包:httpd2.0.4, mysql4.1,libxml2.6.16, zlib1.2.1.2,gd2. ...
kafka php 安装配置,kafka安装及Kafka-PHP扩展的使用，kafkakafka-php扩展_PHP教程
kafka安装及Kafka-PHP扩展的使用,kafkakafka-php扩展话说用了就要有点产出,要不然过段时间又忘了,所以在这里就记录一下试用Kafka的安装过程和php扩展的试用. 实话说,如 ...
Apache Hive 2.1.1 安装配置超详细过程，配置hive、beeline、hwi、HCatalog、WebHCat等组件...
2019独角兽企业重金招聘Python工程师标准>>> 在Docker环境成功搭建了Apache Hadoop 2.8 分布式集群,并实现了NameNode HA.ResourceM ...
Java8 官方jvm 标准参考 -XX 配置参数详细信息
原文地址 https://docs.oracle.com/javase/8/docs/technotes/tools/unix/java.html 概要 java [ 选项 ] 类名 [ args ] ...

confluent【kafka企业版】安装配置————附带详细信息