天道不一定酬所有勤
但是,天道只酬勤
Hollis出品的全套Java面试宝典不来了解一下吗?

深入理解分布式系统的2PC和3PC

Hollis出品的全套Java面试宝典不来了解一下吗?

关注我的博客(http://www.hollischuang.com)的人可能都知道,我之前写过一篇文章专门介绍了一下2PC和3PC(详见:关于分布式事务、两阶段提交协议、三阶提交协议)。上一篇文章中主要介绍了下这两种分布式一致性协议的概念、具体提交流程以及优缺点。本文在上篇文章的基础上在深入了解下这两种分布式一致性协议。主要来分析下为什么2PC存在数据一致性问题,3PC是如何解决了部分2PC存在的问题的,以及为什么3PC还存在可能导致数据不一致的情况。

对分布式系统的概念及2PC和3PC不了解的朋友建议先阅读分布式系列文章

协调者

在分布式系统中,每一个机器节点虽然都能明确的知道自己执行的事务是成功还是失败,但是却无法知道其他分布式节点的事务执行情况。因此,当一个事务要跨越多个分布式节点的时候(比如,淘宝下单流程,下单系统和库存系统可能就是分别部署在不同的分布式节点中),为了保证该事务可以满足ACID,就要引入一个协调者(Cooradinator)。其他的节点被称为参与者(Participant)。协调者负责调度参与者的行为,并最终决定这些参与者是否要把事务进行提交。

二阶段提交协议(2PC)

二阶段提交协议主要分为来个阶段:准备阶段和提交阶段。

在日常生活中其实是有很多事都是这种二阶段提交的,比如西方婚礼中就经常出现这种场景:

牧师:"你愿意娶这个女人吗?爱她、忠诚于她,无论她贫困、患病或者残疾,直至死亡。Doyou(你愿意吗)?"

新郎:"Ido(我愿意)!"

牧师:"你愿意嫁给这个男人吗?爱他、忠诚于他,无论他贫困、患病或者残疾,直至死亡。Doyou(你愿意吗)?"

新娘:"Ido(我愿意)!"

牧师:现在请你们面向对方,握住对方的双手,作为妻子和丈夫向对方宣告誓言。

新郎:我——某某某,全心全意娶你做我的妻子,无论是顺境或逆境,富裕或贫穷,健康或疾病,快乐或忧愁,我都将毫无保留地爱你,我将努力去理解你,完完全全信任你。我们将成为一个整体,互为彼此的一部分,我们将一起面对人生的一切,去分享我们的梦想,作为平等的忠实伴侣,度过今后的一生。

新娘:我全心全意嫁给你作为你的妻子,无论是顺境或逆境,富裕或贫穷,健康或疾病,快乐或忧愁,我都将毫无保留的爱你,我将努力去理解你,完完全全信任你,我们将成为一个整体,互为彼此的一部分,我们将一起面对人生的一切,去分享我们的梦想,作为平等的忠实伴侣,度过今后的一生。

上面这个比较经典的桥段就是一个典型的二阶段提交过程。

首先协调者(牧师)会询问两个参与者(二位新人)是否能执行事务提交操作(愿意结婚)。如果两个参与者能够执行事务的提交,先执行事务操作,然后返回YES,如果没有成功执行事务操作,就返回NO。

当协调者接收到所有的参与者的反馈之后,开始进入事务提交阶段。如果所有参与者都返回YES,那就发送COMMIT请求,如果有一个人返回NO,那就返送roolback请求。

值得注意的是,二阶段提交协议的第一阶段准备阶段不仅仅是回答YES or NO,还是要执行事务操作的,只是执行完事务操作,并没有进行commit还是roolback。和上面的结婚例子不太一样。如果非要举例的话可以理解为男女双方交换定情信物的过程。信物一旦交给对方了,这个信物就不能挪作他用了。也就是说,一旦事务执行之后,在没有执行commit或者roolback之前,资源是被锁定的。这会造成阻塞。


2PC存在的问题

下面我们来分析下2PC存在的问题。

这里暂且不谈2PC存在的同步阻塞、单点问题、脑裂等问题(上篇文章中有具体介绍),我们只讨论下数据一致性问题。作为一个分布式的一致性协议,我们主要关注他可能带来的一致性问题的。


2PC在执行过程中可能发生协调者或者参与者突然宕机的情况,在不同时期宕机可能有不同的现象。


情况一:协调者挂了,参与者没挂

这种情况其实比较好解决,只要找一个协调者的替代者。当他成为新的协调者的时候,询问所有参与者的最后那条事务的执行情况,他就可以知道是应该做什么样的操作了。所以,这种情况不会导致数据不一致。


情况二:参与者挂了,协调者没挂

这种情况其实也比较好解决。如果协调者挂了。那么之后的事情有两种情况:

  • 第一个是挂了就挂了,没有再恢复。那就挂了呗,反正不会导致数据一致性问题。

  • 第二个是挂了之后又恢复了,这时如果他有未执行完的事务操作,直接取消掉,然后询问协调者目前我应该怎么做,协调者就会比对自己的事务执行记录和该参与者的事务执行记录,告诉他应该怎么做来保持数据的一致性。


情况三:参与者挂了,协调者也挂了

这种情况比较复杂,我们分情况讨论。

  • 协调者和参与者在第一阶段挂了。

    • 由于这时还没有执行commit操作,新选出来的协调者可以询问各个参与者的情况,再决定是进行commit还是roolback。因为还没有commit,所以不会导致数据一致性问题。
  • 第二阶段协调者和参与者挂了,挂了的这个参与者在挂之前并没有接收到协调者的指令,或者接收到指令之后还没来的及做commit或者roolback操作。

    • 这种情况下,当新的协调者被选出来之后,他同样是询问所有的参与者的情况。只要有机器执行了abort(roolback)操作或者第一阶段返回的信息是No的话,那就直接执行roolback操作。如果没有人执行abort操作,但是有机器执行了commit操作,那么就直接执行commit操作。这样,当挂掉的参与者恢复之后,只要按照协调者的指示进行事务的commit还是roolback操作就可以了。因为挂掉的机器并没有做commit或者roolback操作,而没有挂掉的机器们和新的协调者又执行了同样的操作,那么这种情况不会导致数据不一致现象。
  • 第二阶段协调者和参与者挂了,挂了的这个参与者在挂之前已经执行了操作。但是由于他挂了,没有人知道他执行了什么操作。

    • 这种情况下,新的协调者被选出来之后,如果他想负起协调者的责任的话他就只能按照之前那种情况来执行commit或者roolback操作。这样新的协调者和所有没挂掉的参与者就保持了数据的一致性,我们假定他们执行了commit。但是,这个时候,那个挂掉的参与者恢复了怎么办,因为他之前已经执行完了之前的事务,如果他执行的是commit那还好,和其他的机器保持一致了,万一他执行的是roolback操作那?这不就导致数据的不一致性了么?虽然这个时候可以再通过手段让他和协调者通信,再想办法把数据搞成一致的,但是,这段时间内他的数据状态已经是不一致的了!

所以,2PC协议中,如果出现协调者和参与者都挂了的情况,有可能导致数据不一致。

为了解决这个问题,衍生除了3PC。我们接下来看看3PC是如何解决这个问题的。

三阶段提交协议(3PC)

3PC最关键要解决的就是协调者和参与者同时挂掉的问题,所以3PC把2PC的准备阶段再次一分为二,这样三阶段提交就有CanCommitPreCommitDoCommit三个阶段。在第一阶段,只是询问所有参与者是否可可以执行事务操作,并不在本阶段执行事务操作。当协调者收到所有的参与者都返回YES时,在第二阶段才执行事务操作,然后在第三阶段在执行commit或者rollback。

这里再举一个生活中类似三阶段提交的例子:

班长要组织全班同学聚餐,由于大家毕业多年,所以要逐个打电话敲定时间,时间初定10.1日。然后开始逐个打电话。

班长:小A,我们想定在10.1号聚会,你有时间嘛?有时间你就说YES,没有你就说NO,然后我还会再去问其他人,具体时间地点我会再通知你,这段时间你可先去干你自己的事儿,不用一直等着我。(协调者询问事务是否可以执行,这一步不会锁定资源

小A:好的,我有时间。(参与者反馈

班长:小B,我们想定在10.1号聚会......不用一直等我。

班长收集完大家的时间情况了,一看大家都有时间,那么就再次通知大家。(协调者接收到所有YES指令

班长:小A,我们确定了10.1号聚餐,你要把这一天的时间空出来,这一天你不能再安排其他的事儿了。然后我会逐个通知其他同学,通知完之后我会再来和你确认一下,还有啊,如果我没有特意给你打电话,你就10.1号那天来聚餐就行了。对了,你确定能来是吧?(协调者发送事务执行指令,这一步锁住资源。如果由于网络原因参与者在后面没有收到协调者的命令,他也会执行commit

小A顺手在自己的日历上把10.1号这一天圈上了,然后跟班长说,我可以去。(参与者执行事务操作,反馈状态

班长:小B,我们觉得了10.1号聚餐......你就10.1号那天来聚餐就行了。

班长通知完一圈之后。所有同学都跟他说:"我已经把10.1号这天空出来了"。于是,他在10.1号这一天又挨个打了一遍电话告诉他们:嘿,现在你们可以出门拉。。。。(协调者收到所有参与者的ACK响应,通知所有参与者执行事务的commit

小A,小B:我已经出门拉。(执行commit操作,反馈状态

3PC为什么比2PC好?

直接分析协调者和参与者都挂的情况。

  • 第二阶段协调者和参与者挂了,挂了的这个参与者在挂之前已经执行了操作。但是由于他挂了,没有人知道他执行了什么操作。

    • 这种情况下,当新的协调者被选出来之后,他同样是询问所有的参与者的情况来觉得是commit还是roolback。这看上去和二阶段提交一样啊?他是怎么解决一致性问题的呢?

    • 看上去和二阶段提交的那种数据不一致的情况的现象是一样的,但仔细分析所有参与者的状态的话就会发现其实并不一样。我们假设挂掉的那台参与者执行的操作是commit。那么其他没挂的操作者的状态应该是什么?他们的状态要么是prepare-commit要么是commit。因为3PC的第三阶段一旦有机器执行了commit,那必然第一阶段大家都是同意commit。所以,这时,新选举出来的协调者一旦发现未挂掉的参与者中有人处于commit状态或者是prepare-commit的话,那就执行commit操作。否则就执行rollback操作。这样挂掉的参与者恢复之后就能和其他机器保持数据一致性了。(为了简单的让大家理解,笔者这里简化了新选举出来的协调者执行操作的具体细节,真实情况比我描述的要复杂)

简单概括一下就是,如果挂掉的那台机器已经执行了commit,那么协调者可以从所有未挂掉的参与者的状态中分析出来,并执行commit。如果挂掉的那个参与者执行了rollback,那么协调者和其他的参与者执行的肯定也是rollback操作。

所以,再多引入一个阶段之后,3PC解决了2PC中存在的那种由于协调者和参与者同时挂掉有可能导致的数据一致性问题。

3PC存在的问题

在doCommit阶段,如果参与者无法及时接收到来自协调者的doCommit或者rebort请求时,会在等待超时之后,会继续进行事务的提交。

所以,由于网络原因,协调者发送的abort响应没有及时被参与者接收到,那么参与者在等待超时之后执行了commit操作。这样就和其他接到abort命令并执行回滚的参与者之间存在数据不一致的情况。

参考资料

2PC和3PC一点理解

再谈2PC和3PC

赞(6)
如未加特殊说明,此网站文章均为原创,转载必须注明出处。HollisChuang's Blog » 深入理解分布式系统的2PC和3PC
Hollis出品的全套Java面试宝典不来了解一下吗?

评论 13

  1. #1

    你好,感谢分享这篇详细的2pc/3pc的文章。 对于3pc,有一种情况:在参与者都收到PreCommit指令后,有1个参与者回复Abort,然后协调者(可能没有收到Abort)没来得及处理就挂掉了,其他参与者如果等待超时后自动执行Commit,这时候系统就处于不一致状态了。 对于这种情况,3pc是不是无法解决的?

    柯志锋8年前 (2016-08-12)回复
    • 作者文章中其实有一个前提,就是通过一定的方式,解决了单点故障的问题,如Paxos协议,那么在协调者挂了之后会很快就会有新的协调者产生,当新的协调者产生后,会收集所以参与者的执行状态,如果发现有Abort或者rollback的状态,就是通知所有的参与者Abort或者rollback

      随便取的5年前 (2018-11-21)回复
  2. #2

    太麻烦

    绫波零觅kb7年前 (2017-02-04)回复
  3. #3

    您好,提一个问题:
    “第二阶段协调者和参与者挂了,挂了的这个参与者在挂之前已经执行了操作。但是由于他挂了,没有人知道他执行了什么操作。”,此时参与者如果恢复了,他之前执行的是rollback操作,那其他活着的参与者也是执行的rollback操作呀,这个时候他与参与者同步它挂了时候的后续操作在上线提供服务,这个时候还是能达成一致的,如何理解这里的不一致呢?
    希望能细分析下,谢谢!

    立立7年前 (2017-03-28)回复
    • 你说的这种情况是理想情况,也就是挂掉的参与者和或者的参与者执行的相同的操作,那的确是能依旧保持一致性,但是如果挂掉的那个参与者挂之前执行的操作和活着的参与者执行的是不同的操作呢,这个时候就不能保持一致了

      随便取的5年前 (2018-11-21)回复
      • 他的意思是说:第一阶段的结果在协调者端已经被持久化了,即使协调者重启或者切换,依然能从持久层获知,这个事务到底是应该提交还是回滚,不需要依赖参与者的反馈。而持久化这个操作,一定是在给参与者发出提交或者回滚的指令之前。

        多多大人5年前 (2019-04-16)回复
        • 我感觉将第一阶段的结果持久化在协调者端挺好的,但是为什么2PC要费劲依赖参与者的反馈?这个我不是很明白..

          曾华琛5年前 (2019-09-16)回复
        • 还有当除了宕机的参与者第一阶段是否,而其他参与者第一阶段返回是,在第二阶段时协调者调用了abort(roolback)操作,此时将要宕机的参与者回滚了。但其他参与者由于网络问题没有收到协调者的命令。当将要宕机的参与者回滚完毕并响应后,协调者跟该参与者都宕机了。后面协调者恢复后发现存活的参与者第一阶段返回的都是是,那么就会执行commit,这样就出现了文中所说的数据不一致。但如果将第一阶段的结果持久化在协调端,那么通过协调端不就可以杜绝这种情况么?

          曾华琛5年前 (2019-09-16)回复
        • “第一阶段的结果在协调者端已经被持久化了”问题点就是这个,这个时候因为协调者也挂了,有可能它还没做出第二阶段的commit还是rollback的决定(因为有一个参与者挂了,无法得知结果),也就是协调者没有持久化正确的决定

          Hello_noby4年前 (2019-11-10)回复
  4. #4

    3PC, 按照上面的例子分析,如果都挂了,而且挂掉的仅仅参与者处于 commit状态,其它的参与着处于 pre-commit. 新启动的协调者,应该让大家处于什么状态呢?

    指尖滑过你脸颊6年前 (2018-08-22)回复
    • commit状态啊,新产生的协调者只要发现有活着的参与者处于pre-commit或者commit状态,就默认为commit了

      随便取的5年前 (2018-11-21)回复
  5. #5

    文末“简单概括一下就是,如果挂掉的那台机器已经执行了commit,那么协调者可以从所有未挂掉的参与者的状态中分析出来,并执行commit。如果挂掉的那个参与者执行了rollback,那么协调者和其他的参与者执行的肯定也是rollback操作。”挂掉的参与者在第2阶段的时候怎么会commit呢,它没收到收到协调者的commit指令呀!!

    eternal5年前 (2019-04-13)回复
  6. #6

    你好,感谢分享这篇详细的2pc/3pc的文章。我想请问一个问题,在2PC中,在参与者宕机了,协调者没宕机的情况下,第一阶段如果宕机的参与者返回的是否,而其他参与者返回的是是,那么此时协调者按照剩下的参与者第二阶段使用了commit操作。而后面之前宕机的参与者此时恢复了,为了保持数据一致性需要强行commit么?

    曾华琛5年前 (2019-09-16)回复

HollisChuang's Blog

联系我关于我