分布式事物

本贴最后更新于 1972 天前,其中的信息可能已经水流花落

一、产生背景

  1、基于微服务环境下,将系统中的业务进行拆分成不同的子模块来构建成不同的服务。在不同的服务中其数据库连接和表结构相互独立运行、互不影响,此时夸模块之间的调用产生异常需要手动回滚,从而增加了业务代码的复杂度。(eg:有 2 个微服务 A 和 B,当 A 调用 B,B 服务成功将数据写入表中,A 继续执行业务逻辑发生异常,则需要手动再次调用 B 服务将保存的数据删除掉,可以试想下如果出现多个微服务调用其中最后一个服务产生异常,此时需要回滚前面所有数据。)   

二、Base 理论和 CAP 理论

  1.ACID 原理

    原子性(Atomicity) 原子性是指事务是一个不可再分割的工作单元,事务中的操作要么都发生,要么都不发生。

    一致性(Consistency)一致性是指在事务开始之前和事务结束以后,数据库的完整性约束没有被破坏。

    隔离性(Isolation)多个事务并发访问时,事务之间是隔离的,一个事务不应该影响其它事务运行效果。

    持久性(Durability)意味着在事务完成以后,该事务所对数据库所作的更改便持久的保存在数据库之中,并不会被回滚。

  注意:传统的 ACID 只能保证单个微服务事务。

  2.CAP 理论

    Consistency:(强)一致性,在分布式系统中的所有数据备份,在同一时刻是否同样的值。(等同于所有节点访问同一份最新的数据副本)。

    Availability:可用性,在集群中一部分节点故障后,集群整体是否还能响应客户端的读写请求。(对数据更新具备高可用性)。

    Partition tolerance:分区容忍性,相当于对通信的时限要求。系统如果不能在时限内达成数据一致性,就意味着发生了分区的情况,必须就当前操作在 C 和 A 之间做出选择。

  注意:对于分布式数据系统,分区容忍性是基本要求,否则就失去了价值。目前常用的分布式事务大多使用补偿机制将一致性改成最终一致性(5 分钟 batch[忽略本括号中])。

      最终一致性需要一个时间窗口在用户感知到的时间内将数据同步。

  3.BASE 理论

    Basically Available:基本可用,分布式系统在出现不可预知故障的时候,允许损失部分可用性(不等价于系统不可用)。

    *   响应时间上的损失:正常情况下,一个在线搜索引擎需要0.5秒内返回给用户相应的查询结果,但由于出现异常(比如系统部分机房发生断电或断网故障),查询结果的响应时间增加到了1~2秒。
        *   功能上的损失:正常情况下,在一个电子商务网站上进行购物,消费者几乎能够顺利地完成每一笔订单,但是在一些节日大促购物高峰的时候,由于消费者的购物行为激增,为了保护购物系统的稳定性,部分消费者可能会被引导到一个降级页面。

    Soft-state:软状态/柔性事务,软状态是指允许系统存在中间状态,并且该中间状态不会影响系统整体可用性。即允许系统在不同节点间副本同步的时候存在延时。

    Eventual Consistency:最终一致性,系统中所有的数据副本,在经过一段时间的同步后,最终能够达到一个一致的状态。因此,最终一致性的本质是需要系统保证最终数据能够达到一致,而不需要实时保证系统数据的强一致性。

  注意:BASE 理论源于对大规模互联网系统分布式实践的结论,是基于 CAP 定理逐步演化而来,ACID 是传统数据库常用的概念设计,追求强一致性模型。。

三、刚性事务和柔性事务

   1.刚性事务:遵循 ACID 原则,强一致性。

   2.柔性事务:遵循 BASE 理论,最终一致性;与刚性事务不同,柔性事务允许一定时间内,不同节点的数据不一致,但要求最终一致。

   3.柔性事务分类:两阶段型、补偿型、异步确保型、最大努力通知型。

四、实现原理

    1.两阶段提交协议:

*   第一阶段(准备阶段):协调者向参与者发起指令,参与者评估自己的状态,如果参与者评估指令可以完成,则会写redo或者undo日志,让后锁定资源,执行操作,但并不提交。
*   第二阶段(提交阶段):如果每个参与者明确返回准备成功,则协调者向参与者发送提交指令,参与者释放锁定的资源,如何任何一个参与者明确返回准备失败,则协调者会发送中指指令,参与者取消已经变更的事务,释放锁定的资源。

  缺点:1.如果协调者宕机,参与者没有协调者指挥,则会一直阻塞。2.协调者没有一个超时时间设定。

      三阶段提交协议:

*   第一阶段(询问阶段):协调者询问参与者是否可以完成指令,协调者只需要回答是还是不是,而不需要做真正的操作。

     优点:通过超时机制解决了阻塞的问题,不会阻塞和永远锁定资源。

   2.补偿性:在一个长事务(long-running)中,一个由两台服务器一起参与的事务,服务器 A 发起事务,服务器 B 参与事务,A 的事务如果执行顺利,那么事务 A 就先行提交,如果事务 B 也执行顺利,则事务 B 也提交,整个事务就算完成。如果事务 B 执行失败,事务 B 本身回滚,这时事务 A 已经被提交,所以需要执行一个补偿操作,将已经提交的事务 A 执行的操作作反操作,恢复到未执行前 事务 A 的状态。

   3.异步确保型:将一些同步阻塞的事务操作变为异步的操作,避免对数据库事务的争用,典型例子是热点账户异步记账、批量记账的处理。

   4.最大努力型:通过通知服务器(消息通知)进行,允许失败,有补偿机制(或重发机制)。

五、LCN 实现原理

  1. LCN 客户端(发起方和参与方都必须要注册到事务协调者中)建立一个长连接。
  2. 事务发起方调用参与方接口之前会向 Tx-Manager 事务协调者创建一个事务分组 id。
  3. 事务发起方调用参与方接口时,会在请求头中存放该事务的分组 id 传给参与方。
  4. 如果参与方服务获取到请求头中有对应的事务分组 id,当参与方服务业务逻辑代码执行完毕后,会采用假关闭 JDBC 连接,不会向参与方服务提交该事务
  5. 参与方在发起方执行成功后,才会提交事务。

六、其他常见解决方案

  1.使用阿里巴巴的 TCC 补偿框架

  2.基于可靠的消息模式(RabbitMQ)

  3.使用阿里的 GTS 框架解决

  4.使用本文介绍的 LCN 框架

  注意:单一项目中采用 Jta+Atomikos

七、LCN 框架代码实现(核心类)

   详细代码已上传:http://47.93.254.162:8090/open
项目架构
a.png

1、tx-manager

b.png
配置注册中心地址和 redis
2、事务发起方添加 @TxTransaction(isStart=true)即可
c.png
3、事务参与方 @TxTransaction
d.png
注意在 tx-manager 中默认 tm.compensate.maxWaitTime=50000 设置默认等待 5 秒钟,根据具体业务处理时间设定
原理简介:当事务发起方由 tx-manage 在 redis 中获取一个唯一 id,当调用事务参与方时会将该 id 传给调用方,此时会将 jdbc 的连接信息交给 tx-manage 进行管理,当参与方调用结束时,tx-manage 不会提交该事务,当事务调用方执行完毕、没有异常抛出并 tx-manage 没有超时的情况下会更具唯一 id 将参与方和调用方的 jdbc 连接进行提交,若有一方抛出异常则都不会提交事务。

相关帖子

1 回帖

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...

推荐标签 标签

  • Pipe

    Pipe 是一款小而美的开源博客平台。Pipe 有着非常活跃的社区,可将文章作为帖子推送到社区,来自社区的回帖将作为博客评论进行联动(具体细节请浏览 B3log 构思 - 分布式社区网络)。

    这是一种全新的网络社区体验,让热爱记录和分享的你不再感到孤单!

    131 引用 • 1114 回帖 • 136 关注
  • HHKB

    HHKB 是富士通的 Happy Hacking 系列电容键盘。电容键盘即无接点静电电容式键盘(Capacitive Keyboard)。

    5 引用 • 74 回帖 • 445 关注
  • iOS

    iOS 是由苹果公司开发的移动操作系统,最早于 2007 年 1 月 9 日的 Macworld 大会上公布这个系统,最初是设计给 iPhone 使用的,后来陆续套用到 iPod touch、iPad 以及 Apple TV 等产品上。iOS 与苹果的 Mac OS X 操作系统一样,属于类 Unix 的商业操作系统。

    84 引用 • 139 回帖 • 2 关注
  • 倾城之链
    23 引用 • 66 回帖 • 125 关注
  • Log4j

    Log4j 是 Apache 开源的一款使用广泛的 Java 日志组件。

    20 引用 • 18 回帖 • 26 关注
  • wolai

    我来 wolai:不仅仅是未来的云端笔记!

    2 引用 • 14 回帖 • 4 关注
  • 黑曜石

    黑曜石是一款强大的知识库工具,支持本地 Markdown 文件编辑,支持双向链接和关系图。

    A second brain, for you, forever.

    10 引用 • 88 回帖
  • 资讯

    资讯是用户因为及时地获得它并利用它而能够在相对短的时间内给自己带来价值的信息,资讯有时效性和地域性。

    54 引用 • 85 回帖
  • 开源中国

    开源中国是目前中国最大的开源技术社区。传播开源的理念,推广开源项目,为 IT 开发者提供了一个发现、使用、并交流开源技术的平台。目前开源中国社区已收录超过两万款开源软件。

    7 引用 • 86 回帖 • 1 关注
  • Jenkins

    Jenkins 是一套开源的持续集成工具。它提供了非常丰富的插件,让构建、部署、自动化集成项目变得简单易用。

    52 引用 • 37 回帖 • 2 关注
  • RabbitMQ

    RabbitMQ 是一个开源的 AMQP 实现,服务器端用 Erlang 语言编写,支持多种语言客户端,如:Python、Ruby、.NET、Java、C、PHP、ActionScript 等。用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面表现不俗。

    49 引用 • 60 回帖 • 387 关注
  • JSON

    JSON (JavaScript Object Notation)是一种轻量级的数据交换格式。易于人类阅读和编写。同时也易于机器解析和生成。

    52 引用 • 190 回帖 • 1 关注
  • Mobi.css

    Mobi.css is a lightweight, flexible CSS framework that focus on mobile.

    1 引用 • 6 回帖 • 721 关注
  • SOHO

    为成为自由职业者在家办公而努力吧!

    7 引用 • 55 回帖 • 48 关注
  • 电影

    这是一个不能说的秘密。

    120 引用 • 598 回帖
  • 以太坊

    以太坊(Ethereum)并不是一个机构,而是一款能够在区块链上实现智能合约、开源的底层系统。以太坊是一个平台和一种编程语言 Solidity,使开发人员能够建立和发布下一代去中心化应用。 以太坊可以用来编程、分散、担保和交易任何事物:投票、域名、金融交易所、众筹、公司管理、合同和知识产权等等。

    34 引用 • 367 回帖
  • SVN

    SVN 是 Subversion 的简称,是一个开放源代码的版本控制系统,相较于 RCS、CVS,它采用了分支管理系统,它的设计目标就是取代 CVS。

    29 引用 • 98 回帖 • 698 关注
  • Spark

    Spark 是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用并行框架。Spark 拥有 Hadoop MapReduce 所具有的优点;但不同于 MapReduce 的是 Job 中间输出结果可以保存在内存中,从而不再需要读写 HDFS,因此 Spark 能更好地适用于数据挖掘与机器学习等需要迭代的 MapReduce 的算法。

    74 引用 • 46 回帖 • 562 关注
  • Hadoop

    Hadoop 是由 Apache 基金会所开发的一个分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。

    86 引用 • 122 回帖 • 619 关注
  • 周末

    星期六到星期天晚,实行五天工作制后,指每周的最后两天。再过几年可能就是三天了。

    14 引用 • 297 回帖 • 1 关注
  • 服务

    提供一个服务绝不仅仅是简单的把硬件和软件累加在一起,它包括了服务的可靠性、服务的标准化、以及对服务的监控、维护、技术支持等。

    41 引用 • 24 回帖 • 1 关注
  • 小说

    小说是以刻画人物形象为中心,通过完整的故事情节和环境描写来反映社会生活的文学体裁。

    28 引用 • 108 回帖
  • 面试

    面试造航母,上班拧螺丝。多面试,少加班。

    324 引用 • 1395 回帖
  • CloudFoundry

    Cloud Foundry 是 VMware 推出的业界第一个开源 PaaS 云平台,它支持多种框架、语言、运行时环境、云平台及应用服务,使开发人员能够在几秒钟内进行应用程序的部署和扩展,无需担心任何基础架构的问题。

    5 引用 • 18 回帖 • 148 关注
  • Logseq

    Logseq 是一个隐私优先、开源的知识库工具。

    Logseq is a joyful, open-source outliner that works on top of local plain-text Markdown and Org-mode files. Use it to write, organize and share your thoughts, keep your to-do list, and build your own digital garden.

    5 引用 • 62 回帖 • 8 关注
  • WordPress

    WordPress 是一个使用 PHP 语言开发的博客平台,用户可以在支持 PHP 和 MySQL 数据库的服务器上架设自己的博客。也可以把 WordPress 当作一个内容管理系统(CMS)来使用。WordPress 是一个免费的开源项目,在 GNU 通用公共许可证(GPLv2)下授权发布。

    58 引用 • 113 回帖 • 273 关注
  • Facebook

    Facebook 是一个联系朋友的社交工具。大家可以通过它和朋友、同事、同学以及周围的人保持互动交流,分享无限上传的图片,发布链接和视频,更可以增进对朋友的了解。

    4 引用 • 15 回帖 • 460 关注