Maxwell安装与入门
安装
官网 https://maxwells-daemon.io/
下载地址,此版本有67M,如果发现启动不了,重新下载
https://github.com/zendesk/maxwell/releases/tag/v1.29.2
上传后解压
tar -zxvf maxwell-1.29.2.tar.gz -C /opt/module/
安装MySQL
https://blog.csdn.net/weixin_44371237/article/details/119966466
修改MySQL配置文件 vim /etc/my.cnf,在[mysqld]模块下添加一下内容
server_id=1
# 设置binlog 日志的前缀是 mysql-bin
log-bin=mysql-bin
# 行级, binlog 会记录每次操作后每行记录的变化。
binlog_format=row
# 指定test_maxwell数据库
#binlog-do-db=test_maxwell
启动MySQL
service mysqld start
登录 mysql
mysql -uroot -proot123456
查看是否修改完成
mysql> show variables like ‘%binlog%’;
进入
cd /var/lib/mysql
可以看到binlog文件(MySQL 生成的 binlog 文件初始大小一定是 154 字节)
初始化 Maxwell 元数据库
在 MySQL 中建立一个 maxwell 库用于存储 Maxwell 的元数据
CREATE DATABASE maxwell;
分配一个账号可以操作该数据库
GRANT ALL ON maxwell.* TO 'maxwell'@'%' IDENTIFIED BY '123456';
分配这个账号可以监控其他数据库的权限
GRANT SELECT ,REPLICATION SLAVE , REPLICATION CLIENT ON *.* TO maxwell@'%';
刷新 mysql 表权限
flush privileges;
用客户端打开,在mysql库的user表可以看到如下用户
输出到控制台
第一种启动方式:
–producer 生产者模式(stdout:控制台;kafka:kafka 集群)
bin/maxwell --user='maxwell' --password='123456' --host='hadoop100' --producer=stdout
第二种启动方式:
复制config.properties
cp config.properties.example config.properties
修改/opt/module/maxwell-1.29.2/config.properties
producer=stdout
host=hadoop100
password=123456
启动
bin/maxwell --config ./config.properties
如下启动成功
建表后插入数据
insert into test values(1,'aaa');
Maxwell监控到
{"database":"test_maxwell","table":"test","type":"insert","ts":1668590382,"xid":3907,"commit":true,"data":{"id":2,"name":"aaa"}}
输出到kafka
kafka安装
https://blog.csdn.net/weixin_44371237/article/details/126956860
windows 客户端工具
https://www.kafkatool.com/download.html
第一种启动方式:
启动 Maxwell 监控 binlog
bin/maxwell --user='maxwell' --password='123456' --host='hadoop100' --producer=kafka --kafka.bootstrap.servers=hadoop100:9092 --kafka_topic=maxwell
打开 kafka 的控制台的消费者消费 maxwell 主题
kafka-console-consumer.sh --bootstrap-server hadoop100:9092 --topic maxwell
第二种启动方式:
修改/opt/module/maxwell-1.29.2/config.properties
producer=kafka
kafka.bootstrap.servers=hadoop100:9092
host=hadoop100
启动
bin/maxwell --config ./config.properties
在数据库客户端创建test_maxwell和test_maxwell2库,然后插入数据
insert into test_maxwell.test values(3,'aaa');
insert into test_maxwell2.test values(3,'aaa');
打开kafka tool可以看到如下
设置数据显示为string,默认二进制
kafka 主题数据分区
maxwell 监控多个 mysql 库的数据,这些数据发往 kafka 的一个主题 Topic,并且这个主题也肯定是多分区的,为了提高并发度。
手动创建一个 3 个分区的 topic,名字就叫做 maxwell3
bin/kafka-topics.sh --zookeeper hadoop100:2181,hadoop101:2181,hadoop102:2181/kafka --create --replication-factor 2 --partitions 3 --topic maxwell3
bin/kafka-topics.sh --bootstrap-server hadoop100:9092 --create --partitions 3 --replication-factor 2 -topic maxwell3
修改/opt/module/maxwell-1.29.2/config.properties
producer=kafka
kafka.bootstrap.servers=hadoop100:9092
host=hadoop100
# *** kafka ***
kafka_topic=maxwell3
# *** partitioning ***
producer_partition_by=database
启动
bin/maxwell --config ./config.properties
数据初始化
先关闭maxwell,然后往元数据库添加数据
insert into maxwell.bootstrap(database_name,table_name) values(‘test_maxwell’,‘test’);
Maxwell安装与入门相关推荐
- Python:Scrapy的安装和入门案例
Scrapy的安装介绍 Scrapy框架官方网址:http://doc.scrapy.org/en/latest Scrapy中文维护站点:http://scrapy-chs.readthedocs. ...
- windows下nodejs express安装及入门网站,视频资料,开源项目介绍
windows下nodejs express安装及入门网站,视频资料,开源项目介绍,pm2,supervisor,npm,Pomelo,Grunt安装使用注意事项等总结 第一步:下载安装文件 下载地址 ...
- TensorFlow 安装及入门
安装 入门 TensorFlow简介 基本操作 loading lazy 安装 上TensorFlow官网按照教程安装. 入门 以下学习内容follow这篇博客 TensorFlow简介 Tensor ...
- Ubuntu 18.04 安装 redis入门使用
Ubuntu 18.04 安装 redis入门使用 1.安装 sudo apt-get install redis-server 2.查看redis运行状态 ps -ef | grep redis 3 ...
- IDE之EcliPse:EcliPse软件的简介、安装、入门、使用方法之详细攻略
IDE之EcliPse:EcliPse软件的简介.安装.入门.使用方法之详细攻略 目录 EcliPse软件的简介 Eclipse特点 EcliPse软件的安装 EcliPse软件的入门 1.快捷键集合
- Python:Python多种集成开发环境(IDE,编译器)的简介、安装、入门、使用方法之详细攻略
Python:Python多种集成开发环境(IDE,编译器)的简介.安装.入门.使用方法之详细攻略 目录 Python多种编译器的简介.安装.入门.使用方法 1.Anaconda 2.ipython ...
- Postman:Postman简介、安装、入门使用方法详细攻略
Postman:Postman简介.安装.入门使用方法详细攻略 目录 Postman简介 Postman安装 Postman入门 1.图文教程 1.1.get案例 1.2.post案例 1.3.get ...
- Ansible 安装和入门
Ansible 安装和入门 Ansible安装 ansible的安装方法有多种 EPEL源的rpm包安装: [root@ansible ~]#yum install ansible 编译安装 yum ...
- [Python爬虫] scrapy爬虫系列 一.安装及入门介绍
前面介绍了很多Selenium基于自动测试的Python爬虫程序,主要利用它的xpath语句,通过分析网页DOM树结构进行爬取内容,同时可以结合Phantomjs模拟浏览器进行鼠标或键盘操作.但是,更 ...
最新文章
- Zynq器件XADC模块介绍
- Object o与Object o=null的区别
- mysql第一二章笔记_MYSQL必知必会读书笔记 第一章(基础)
- Linux设备驱动程式之读书笔记(二) [转]
- mongodb在插入数据环节避免数据重复的方法(爬虫中的使用update)
- JSON.NET 简单的使用
- emmet插件使用(Css)
- UML类图(上):类、继承和实现
- Python使用组合、排列和动态规划算法求解0-1背包问题
- txt文件参数化200用户,返回在表格中查看只能看到100行数据
- [LeetCode]168. Excel Sheet Column Title
- springboot系列(二十六):如何实现word模板单页导出?这你得会|超级详细,建议收藏
- 信息安全管理体系--文件的等级划分
- php短信验证码接口怎么写,PHP 攻击短信验证码接口
- 计算机的所有符号,电脑上怎么打各种符号
- 什么是安迪比尔定理?
- 【第1期】腾讯云的1001种玩法征集,Ipad mini和Kindle 等你拿!(文章评审中)
- 企业利用进销存软件可优化库存管理
- win10 EFI文件夹删除了,引导进不去了,该怎么办?
- CDSN获取积分的攻略
热门文章
- 4.12leetcode468. 验证IP地址
- 淘宝卖家如何通过宝贝详情页装修提高店铺转化?
- 5G WiFi 安信可 BW16 模组 RTL8720DN 入门笔记 1 :搭建Arduino IDE 开发环境,点亮一盏LED灯。
- linux中top显示的信息详解,Linux中top显示信息详解
- echarts词云图形状_使用pyecharts绘制词云图-淘宝商品评论展示
- 今天git拉取下来代码后,明天怎么更新下来别的技术传上去的代码呢?
- 题解【[AHOI2008]紧急集合 / 聚会】
- 个人银行账户管理程序(C++语言程序设计第4版)
- 将用户输入的金额转写成中文的大写数字 c++
- 蓝桥杯单片机比赛学习:5、中断系统之外部中断的基本原理