经过几天的的深入研究（网上的文档很多，但是坑不少，少一个配置可能就走入了死胡同），特此将我部署的过程意义道来（参考文档通过Canal将MySQL数据同步到阿里云Elasticsearch - 检索分析服务Elasticsearch版 - 阿里云）

以下仅为学习使用（windows系统），linux系统稍后就写

步骤一：准备MySQL数据源

创建数据库canal_manager(canal 官方提供， canal/canal_manager.sql at master · alibaba/canal · GitHub)，创建数据库表es_test

my.cnf: （新增部分）

#开启日志
log_bin = mysql‐bin
#设置服务id
server_id = 1
#不记录每条sql语句的上下文信息，仅需记录哪条数据被修改了，修改成什么样了
binlog_format = ROW

至此mysql部分结束

步骤二：下载安装es+ik并创建索引（相当于是mysql的库表，没有这个还玩个鸟）

1、官网Download Elasticsearch | Elastic

在这选择以前的版本建议不要下最新版本，因为好多依赖他的第三方还没来得及去做兼容更新

直接解压就可以用了在Elasticsearch\elasticsearch-6.7.0\bin 下直接双击elasticsearch.bat就启动了，最后在Elasticsearch\elasticsearch-6.7.0\config 下找elasticsearch.yml 修改

后面adapter调用时候使用，坑1

启动后在浏览器输入http://localhost:9200/出现

即为成功

2、创建索引

在postman上执行也可以

http://localhost:9200/a

只是我的样例不要照抄a改为es_estest 和上面创建的表保持一致，要是乱起名字不就乱套了吗

步骤三：安装并启动Canal-server

下载地址Releases · alibaba/canal · GitHub

选择合适的版本

在config修改三个地方

启动看logs里面canal\logs\example 日志没有报错就hi成功了

步骤三：安装并启动Canal-adapter（重要）

下载地址Releases · alibaba/canal · GitHub

要和上面的canal版本一致

下载后修改配置文件application.yml

cluster.name要和刚才修改的es名字一致

修改配置文件bootstrap.yml（网上好多都没介绍这一步，不知道为啥，但是这个不修是真的启动不了）

修改es6（如果你的es是7x是就es7 我是这么认为的）

至此所有配置已经结束启动adapter 然后修改数据库es_test 再浏览器输入

http://localhost:9200/es_test/_search就可以看到效果了

注意：数据库主键一定要和es创建的主键一致且不能为空，否则会报错

通过Canal将MySQL数据同步到elasticsearch (mysql8+canal1.1.5+canal-adapter1.1.5+elasticsearch6.7.0+ik6.8.6)相关推荐

liunx下通过Canal将MySQL数据同步到Elasticsearch
liunx下通过Canal将MySQL数据同步到Elasticsearch 一.canal背景信息 Canal是Github中开源的ETL(Extract Transform Load)软件 cana ...
canal实现mysql数据同步
前言 canal是实现mysql数据备份,异地灾备,异地数据同步等重要的中间件,在实际的业务场景中有着广泛的使用,本文基于小编所在项目中一个异地数据同步的场景为例,通过案例演示下利用canal实现my ...
Mysql 数据同步到 Elasticsearch
阅读目录说明 1 同步原理 2 插件 logstash-input-jdbc go-mysql-elasticsearch elasticsearch-jdbc 3 logstash-input-j ...
Elasticsearch 与mysql数据同步
这里写自定义目录标题 Elasticsearch 与mysql数据同步安装logstash 启动注意事项,很重要 Elasticsearch 与mysql数据同步通过调用Elasticsearc ...
RabbitMQ实现ElasticSearch和MySQL数据同步
RabbitMQ实现ElasticSearch和MySQL数据同步提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录 RabbitMQ实现ElasticSearch和MySQ ...
ES和MySQL数据同步（简略版）
一.在docker配置elasticsearch和kibana 1.注:elasticsearch和kibana的版本要一致 elesticsearch --拉取镜像 docker pull dock ...
MYSQL数据同步到ＥＳ７
** 概述 ** 现在的项目数据量越来越大,全文检索功能使用场景也越来越普遍. 而我们一般的生产数据是在mysql,或其它一些数据库, 我们的产品数据就是mysql,而又要使用全文检索, 所以要把my ...
hbase 导入到es_HBase数据同步到ElasticSearch的方案
ElasticSearch的River机制 ElasticSearch自身提供了一个River机制,用于同步数据. 这里能够找到官方眼下推荐的River: 可是官方没有提供HBase的River. 事 ...
MySQL数据同步到 Redis 缓存的几种方法
1 Mysql查完数据,再同步写入到Redis中缺点1:会对接口造成延迟,因为同步写入redis本身就有延迟,并且还要做重试,如果redis写入失败,还需要重试,那就更费时间了. 缺点2:不解耦,如 ...

通过Canal将MySQL数据同步到elasticsearch (mysql8+canal1.1.5+canal-adapter1.1.5+elasticsearch6.7.0+ik6.8.6)

步骤一：准备MySQL数据源

步骤二：下载安装es+ik并创建索引（相当于是mysql的库表，没有这个还玩个鸟）

步骤三：安装并启动Canal-server

步骤三：安装并启动Canal-adapter（重要）

通过Canal将MySQL数据同步到elasticsearch (mysql8+canal1.1.5+canal-adapter1.1.5+elasticsearch6.7.0+ik6.8.6)相关推荐

最新文章

热门文章