【面试宝典】如何把单库数据迁移到分库分表?

本贴最后更新于 2357 天前,其中的信息可能已经时移世改

面试官:如何把单个数据库的数据迁移到分库分表里面?

面试官心理剖析:

主要是看你在生产环境弄过?没弄过的话看你有没有思考过这个问题?因为在做分库分表的时候肯定会遇到这个问题。

回答:

假设你的分库分表中间件已经选好了,分库分表的数据库都已经建好了。分库分表的功能也都已经测试通过了,可以上线了。数据迁移的系统也测试通过。

方案一:停机迁移

这个方案是一般公司都比较常用的,在网站上放一个公告,说“几点到几点要进行系统升级,到时候系统将不可用”,类似这样的公告。然后大家就一起加班,从凌晨开始做数据迁移,搞了多个数据迁移的工具,从单库把数据获取到,在调用分库分表中间件,中间件把数据放到新的数据库中,整个过程可能要跑个几小时,迁移完之后大家开始验证数据。验证成功之后修改应用系统的配置,把原来调用单库的配置修改为使用中间件。然后在验证下功能,没问题的话就可以对外提供服务了。
imagepng

缺点:

1、一定会出现几小时的停机(凌晨也还好,很多用户都睡觉了)

2、如果在凌晨 4 点还没有搞定,大家开始慌了,到凌晨 6 点还没搞定,那么新库的数据回滚,单库继续提供服务,第二天在继续搞。(这样大家会很累)

方案二:不停机迁移(双写方案)

如果不想经常看凌晨的太阳,那么会想有没有其他的方案?
imagepng
如图,
1、系统中修改写数据库的代码,同时写单库和新库;
2、数据迁移工具获取到老库的数据,在新库中进行比较,如果新库中不存在,那么把数据保存到新库中;如果新库中存在数据,那么比较更新时间,如果老库的更新时间大于新库,那么修改新库的数据;如果老库的更新时间小于新库的,那么保持不变。
3、迁移完之后需要比较数据是否完全一样,在凌晨的时候,数据肯定会变为一致,因为很少数据进来。
4、最后凌晨,系统把写老库的代码删掉,都写新库。
整个迁移的过程就结束了,这个过程只有在删除写老库代码的时候,会停下服务(你使用了集群,其实对用户来说是无感知的)。

注:如果想数据迁移快点,那么可以多部署一些数据迁移工具。

  • B3log

    B3log 是一个开源组织,名字来源于“Bulletin Board Blog”缩写,目标是将独立博客与论坛结合,形成一种新的网络社区体验,详细请看 B3log 构思。目前 B3log 已经开源了多款产品:SymSoloVditor思源笔记

    1063 引用 • 3455 回帖 • 152 关注
  • 数据库

    据说 99% 的性能瓶颈都在数据库。

    345 引用 • 751 回帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
  • 能不能通过 备份的方式进行? 在迁移前,备一份老库,拿备份的数据 独立迁移,迁移完 要切库的时候,直接切到有 数据的新库,剩下的部分 通过 增量备份的 方式 备出来,那么切换的时候数据量就很少,不用花太多的时间,停机时间 就比较短(反正 停机 是不可避免的)

    1 回复
  • 其他回帖
  • 可以通过时间戳。

  • Ddiao

    也是一种思路,不过这种方式你也需要进行数据验证,确保两个库的数据一致。还是要有程序比较数据,不可能人为比较。

    1 回复
chaigx
欢迎关注我的公众号:程序之声。有些文章没办法同步过来,访问个人博客:http://www.chaiguanxin.com

推荐标签 标签

  • 快应用

    快应用 是基于手机硬件平台的新型应用形态;标准是由主流手机厂商组成的快应用联盟联合制定;快应用标准的诞生将在研发接口、能力接入、开发者服务等层面建设标准平台;以平台化的生态模式对个人开发者和企业开发者全品类开放。

    15 引用 • 127 回帖 • 1 关注
  • Kafka

    Kafka 是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是现代系统中许多功能的基础。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

    36 引用 • 35 回帖
  • Vditor

    Vditor 是一款浏览器端的 Markdown 编辑器,支持所见即所得、即时渲染(类似 Typora)和分屏预览模式。它使用 TypeScript 实现,支持原生 JavaScript、Vue、React 和 Angular。

    371 引用 • 1856 回帖
  • 强迫症

    强迫症(OCD)属于焦虑障碍的一种类型,是一组以强迫思维和强迫行为为主要临床表现的神经精神疾病,其特点为有意识的强迫和反强迫并存,一些毫无意义、甚至违背自己意愿的想法或冲动反反复复侵入患者的日常生活。

    15 引用 • 161 回帖 • 6 关注
  • HTML

    HTML5 是 HTML 下一个的主要修订版本,现在仍处于发展阶段。广义论及 HTML5 时,实际指的是包括 HTML、CSS 和 JavaScript 在内的一套技术组合。

    108 引用 • 295 回帖 • 1 关注
  • 脑图

    脑图又叫思维导图,是表达发散性思维的有效图形思维工具 ,它简单却又很有效,是一种实用性的思维工具。

    32 引用 • 99 回帖
  • Node.js

    Node.js 是一个基于 Chrome JavaScript 运行时建立的平台, 用于方便地搭建响应速度快、易于扩展的网络应用。Node.js 使用事件驱动, 非阻塞 I/O 模型而得以轻量和高效。

    139 引用 • 269 回帖 • 2 关注
  • 生活

    生活是指人类生存过程中的各项活动的总和,范畴较广,一般指为幸福的意义而存在。生活实际上是对人生的一种诠释。生活包括人类在社会中与自己息息相关的日常活动和心理影射。

    229 引用 • 1432 回帖
  • Swift

    Swift 是苹果于 2014 年 WWDC(苹果开发者大会)发布的开发语言,可与 Objective-C 共同运行于 Mac OS 和 iOS 平台,用于搭建基于苹果平台的应用程序。

    34 引用 • 37 回帖 • 553 关注
  • wolai

    我来 wolai:不仅仅是未来的云端笔记!

    2 引用 • 14 回帖 • 5 关注
  • 星云链

    星云链是一个开源公链,业内简单的将其称为区块链上的谷歌。其实它不仅仅是区块链搜索引擎,一个公链的所有功能,它基本都有,比如你可以用它来开发部署你的去中心化的 APP,你可以在上面编写智能合约,发送交易等等。3 分钟快速接入星云链 (NAS) 测试网

    3 引用 • 16 回帖
  • Docker

    Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的操作系统上。容器完全使用沙箱机制,几乎没有性能开销,可以很容易地在机器和数据中心中运行。

    496 引用 • 934 回帖 • 1 关注
  • TensorFlow

    TensorFlow 是一个采用数据流图(data flow graphs),用于数值计算的开源软件库。节点(Nodes)在图中表示数学操作,图中的线(edges)则表示在节点间相互联系的多维数据数组,即张量(tensor)。

    20 引用 • 19 回帖
  • 服务器

    服务器,也称伺服器,是提供计算服务的设备。由于服务器需要响应服务请求,并进行处理,因此一般来说服务器应具备承担服务并且保障服务的能力。

    125 引用 • 585 回帖
  • 自由行
  • frp

    frp 是一个可用于内网穿透的高性能的反向代理应用,支持 TCP、UDP、 HTTP 和 HTTPS 协议。

    17 引用 • 7 回帖 • 3 关注
  • 印象笔记
    3 引用 • 16 回帖
  • OkHttp

    OkHttp 是一款 HTTP & HTTP/2 客户端库,专为 Android 和 Java 应用打造。

    16 引用 • 6 回帖 • 92 关注
  • JWT

    JWT(JSON Web Token)是一种用于双方之间传递信息的简洁的、安全的表述性声明规范。JWT 作为一个开放的标准(RFC 7519),定义了一种简洁的,自包含的方法用于通信双方之间以 JSON 的形式安全的传递信息。

    20 引用 • 15 回帖 • 25 关注
  • API

    应用程序编程接口(Application Programming Interface)是一些预先定义的函数,目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力,而又无需访问源码,或理解内部工作机制的细节。

    79 引用 • 431 回帖
  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统,支持完全离线使用,同时也支持端到端加密同步。

    融合块、大纲和双向链接,重构你的思维。

    25898 引用 • 107318 回帖 • 1 关注
  • Oracle

    Oracle(甲骨文)公司,全称甲骨文股份有限公司(甲骨文软件系统有限公司),是全球最大的企业级软件公司,总部位于美国加利福尼亚州的红木滩。1989 年正式进入中国市场。2013 年,甲骨文已超越 IBM,成为继 Microsoft 后全球第二大软件公司。

    107 引用 • 127 回帖 • 342 关注
  • HHKB

    HHKB 是富士通的 Happy Hacking 系列电容键盘。电容键盘即无接点静电电容式键盘(Capacitive Keyboard)。

    5 引用 • 74 回帖 • 519 关注
  • 又拍云

    又拍云是国内领先的 CDN 服务提供商,国家工信部认证通过的“可信云”,乌云众测平台认证的“安全云”,为移动时代的创业者提供新一代的 CDN 加速服务。

    20 引用 • 37 回帖 • 577 关注
  • 倾城之链
    23 引用 • 66 回帖 • 170 关注
  • JetBrains

    JetBrains 是一家捷克的软件开发公司,该公司位于捷克的布拉格,并在俄国的圣彼得堡及美国麻州波士顿都设有办公室,该公司最为人所熟知的产品是 Java 编程语言开发撰写时所用的集成开发环境:IntelliJ IDEA

    18 引用 • 54 回帖
  • Word
    13 引用 • 41 回帖