如何做数据平滑迁移：双写方案

2024-05-10 06:12:31

1.什么是数据迁移

数据迁移指的是将一批数据从同构存储系统（如MySQLA到MySQLB）或异构存储系统（如MySQL-MongoDB）间搬运迁移。

最简单的数据迁移方式是通过脚本或定时任务将数据进行搬运，亦或是通过类似canal之类的工具进行数据同步。

这种最简单方案在数据量小且系统对数据一致性要求低的情况下可以良好生效，但是对于大数据量的实时在线系统来讲，需要在数据迁移的过程中做好以下三个保障：

在线迁移：迁移应该是在线的迁移，也就是在迁移的同时还会有数据的写入
数据一致性：数据应该保证完整性，也就是说在迁移之后需要保证新的库和旧的库的数据是一致的
可回滚：迁移的过程需要做到可以回滚，这样一旦迁移的过程中出现问题，可以立刻回滚到源库不会对系统的可用性造成影响

2.数据双写迁移方案

数据双写迁移是最常用的一种数据迁移方案，可以保证迁移过程是在线的、迁移前后数据是一致的、迁移过程是可回滚的。数据双写迁移方案分为五大步，分别是：同步、双写、校验、切读、切写。以MySQL数据迁移至MongoDB为例来说明这五大步的流程。

2.1.同步

首先通过Binlog监听工具（如Canal）获取MySQL的全量日志及增量日志，并且不断写入MongoDB：

2.2.双写

在进行了同步操作之后，此时MongoDB中数据已经几乎和MySQL一致，但是此时并不能直接将读写操作切换到MongoDB中，因为在切换的这个过程中会出现数据不一致，此时就需要双写。

所谓双写其实就是在程序中写入MySQL时，也将这份数据转换格式并同时写入MongoDB，为了不影响接口写入的pct99时间，可以将对MongoDB的写入进行异步化，对于写入失败的数据再定时回捞写入。

注意由于Binlog监听程序也在进行数据增量写入，所以可以通过开关控制双写启动后，关闭Binlog监听程序。

2.3.校验

经过同步及双写两个步骤，此时MySQL和MongoDB应该已经保持线上实时同步了，但是为了确保双写的数据不出问题，需要通过定时任务来对MySQL及MongoDB的数据一致性做抽样校验，当校验到数据不一致时，以MySQL的数据为准覆盖MongoDB中的对应数据。

2.4.切读

当抽样校验持续一段时间（如一周）时，如果数据一致性基本为100%时，可以启动切读。

所谓切读指的是将数据读取时，不对MySQL进行读取，而是对MongoDB进行读取。此时通过灰度控制来进行小流量数据读取，在观察一段时间没问题后，逐步放大切读流量，直到100%读MongoDB。

2.5.切写

切读完成后，读取时就已经不依赖于老MySQL，而是依赖于新MongoDB了。此时要做的最后一步是切写，也就是关闭双写，只写MongoDB。此时数据迁移完成，读写均通过MongoDB。

3.切量过程关键点

数据校验以最终结果量为准，因为过程量可能不置信，最好可以实现切读后的数据打点趋势与原流程趋势做对比产出报告
切量过程必须是可以回滚的，并且需要小流量的切量观察

如何做数据平滑迁移：双写方案相关推荐

oracle tns 代理配置_OGG实现Oracle到MySQL数据平滑迁移
技术分享 | 使用OGG实现Oracle到MySQL数据平滑迁移 - 爱可生开源社区opensource.actionsky.com 一.OGG概述 OGG全称为Oracle GoldenGate, ...
使用OGG/Kettle实现Oracle到MySQL数据平滑迁移
本文目录: 一.OGG概述 (一)OGG逻辑架构二.迁移方案 (一)环境信息 (二)表结构迁移 (三)数据迁移 1.源端OGG配置 (1)Oracle数据库配置 (2)Oracle数据库OGG用户创 ...
用日志构建坚固的数据基础设施/为什么双写不好
1. 备注本文译自https://www.confluent.io/blog/using-logs-to-build-a-solid-data-infrastructure-or-why-dual- ...
SpreadJS轻松实现类Excel报表设计，轻松实现线下线上数据平滑迁移！
什么是类Excel报表设计? 类Excel报表设计,是用来展示和使用数据的过程,目前已广泛应用于企业日常生产经营活动中.使用类 Excel 模式设计各类报表,既可以保留用户的使用习惯,又可以轻松实现数 ...
mysql goldengate_oracle GoldenGate实现Oracle到MySQL数据平滑迁移
(一)OGG逻辑架构参照上图简单给大家介绍下OGG逻辑架构,让大家对OGG数据同步过程有个简单了解,后面章节会详细演示相关进程的配置方式,在OGG使用过程中主要涉及以下进程及文件:Manager进程 ...
Mysql平滑迁移（重构后的数据平滑迁移）
一般思路(只是一般思路): 1.线下备份表结构 2.线上备份表数据 3.创建临时表 4.创建视图简化步骤如下(只适合参考): 1.只拷贝表结构,不拷贝数据 select * into b from ...
hbase集群数据写入_Hbase实用技巧：全量+增量数据的迁移方法
摘要:本文介绍了一种Hbase迁移的方法,可以在一些特定场景下运用. 背景在Hbase使用过程中,使用的Hbase集群经常会因为某些原因需要数据迁移.大多数情况下,可以跟用户协商用离线的方式进行迁移 ...
Hbase实用技巧：全量+增量数据的迁移方法
摘要:本文介绍了一种Hbase迁移的方法,可以在一些特定场景下运用. 背景在Hbase使用过程中,使用的Hbase集群经常会因为某些原因需要数据迁移.大多数情况下,可以跟用户协商用离线的方式进行迁移 ...
java从hbase增量导出到,Hbase实用技巧：全量+增量数据的迁移方法
摘要:本文介绍了一种Hbase迁移的方法,可以在一些特定场景下运用. 背景在Hbase使用过程中,使用的Hbase集群经常会因为某些原因需要数据迁移.大多数情况下,可以跟用户协商用离线的方式进行迁移 ...

最新文章

热门文章