锐客网

  1. 首页 > it技术 > >

数据迁移方案汇总

mysql

最近的工作在做业务库迁移，如何做到平滑迁移，保持数据一致性，尽量不停服是迁移工作追求的目标。本文分享一些数据迁移工作常见方案以及当中需要注意的点。
先说下数据迁移当中需要注意的点：
个人理解最重要的应该是数据的一致性，说的直白点，就是在数据迁移当中，怎么保证数据不丢失（大部分业务系统的访问量很高，即便在凌晨两三点也有一定的访问量，在迁移当中怎么保证写入的数据不丢失至关重要）。
其次重要的是迁移步骤当中的执行顺序，比如是先改db host，还是先迁移数据，还是先做其他什么操作？一般的过程大体是这样：
1.先选一个闲时，尽量还是选择用户操作少的时间段（比如凌晨），减少数据写入和读取
2.停掉定时任务&一些周边允许停止的服务组件（比如消费者MQ之类的），这一步的目的还是为了减少数据写入和读取，这一步视系统而定，鄙人迁移的过程，停掉定时任务是在允许范围内的。对于系统本身，绝大部分功能还是可用的，只有少部分功能可能受到影响，主体功能不受影响，系统提供有损服务。
3.dump mysql源库数据
4.将上一步得到的数据source到目标库
5.脚本检查数据迁移的正确性（数据量和库表是否符合预期）
6.将db配置指向新库【可能是改host, 可能是改db的方式，或许还需要配合发布等操作】（这一步不能提前到source之前，如果提前的话，从用户角度来看，存在数据丢失，从运维角度来看，会加大存量历史数据的处理难度，比如id冲突之类的）
【数据迁移方案汇总】7.检查流量是否全切到新库
8.开启定时任务等job服务以及其他周边服务组件
大体是上述流程，可能会根据具体系统不同而略有差异，以上就是迁移过程中需要注意的点，但是具体要怎么操作呢？比如上述第三步之后源库产生新的数据怎么破？
下面介绍一些数据迁移的一些常见方案：
1.主从同步的方式迁移数据。具体操作：
A. 给源库挂一个从库，开启主从同步（一般先全量dump --master-data=https://www.it610.com/article/2，然后再设置从库）
B. 从库数据数据追上后，闲时停服，将从库升级为主库，将业务DB指向新的主库
C. 检查旧库上是否还有流量
D. 启动服务
这种方式的成本低，操作性强，但需要停服一会儿。
2.双写，适合场景：数据结构不同，项目中经常用到，常用于重构某个功能导致的数据结构变化的迁移。具体操作：
A. 新旧库同时写入（增删改）
B. 发布新代码前，先全量同步一次数据到新库，发布完成后，再增量对账（对账脚本）一遍新旧库数据（主要针对发布当中，因为滚动更新新旧代码共存期间产生的部分数据只写了旧库，没有写新库的情况），或者根据modified或created字段，增量同步此段时间产生的数据，当然也要视双写代码的具体实现而定，如果双写每次新库都是删除后新增的话，可能就没有必要第二次的对账。如果双写要考虑性能，可以用MQ等异步队列的方式写新库。
C. 通常为了验证双写的正确性，可以采用灰度的方式，让部分流量切到新库，直到稳定后，才全量新库。
3.利用Canal和DTS等数据同步工具做数据同步
4.利用MHA高可用方案做 mysql迁移（对外vip不变，业务层不需要改动）
以上就是一些数据迁移的常规方案。
专注Web开发、后台开发、DB性能及架构
我的公众号“码农漫谈”，如果喜欢我的文章，可以关注公众号，打工不易：（，欢迎技术沟通与交流，每天进步一点点
数据迁移方案汇总
文章图片

    推荐阅读


    上一篇：【JS30-Wes Bos】异步操作实现的小字典

    下一篇：17个实用的JavaScript数组和对象的方法