CRDT 与分布式一致性的探索
CRDTs and the Quest for Distributed Consistency
频道:InfoQ · 时长:43:39 · 发布:2018-10-02 · 播放:68491
简介
Martin Kleppmann 在 QCon London 2018 的演讲,关于在分布式系统中无需中央领导者保持数据一致性。它综述了用于在点对点网络上同步设备和协同编辑的 CRDT 算法。
HN 为什么推荐
被强烈推荐为对 CRDT 领域清晰、易懂的综述。
我也强烈推荐这个演讲 — HN, 2019
中文字幕节选
我叫Martin Chapman,你们可能通过我大约一年前出版的那本书认识我,书名叫《设计数据密集型应用》。这本书不是关于CRDT的, 而是对大规模数据系统架构和分布式系统问题的非常广泛的概述。 我今天要讲的是一个不同的领域。我是剑桥大学的研究员,不过今天实际上我正式参与罢工,你们可能已经猜到了。我是认真的,目前许多英国大学正在发生一场纠纷, 涉及养老金、工资和工作条件等问题。 但今天我还是来谈谈CRDT,即无冲突复制数据类型。 这些是用于在分布式系统中实现强最终一致性的数据结构。 它们允许在没有中央协调者的情况下进行协作编辑和同步。 当权者想要以一种非常 激进且毫无道理的方式削减我们的养老金计划,这相当于大幅降薪,实在 毫无道理。所以作为抗议的一部分,我正在罢工。但我仍然会来给大家做这个演讲, 因为我们和QCon没有问题,有问题的是我们的大学。 不过要说明的是,我是以个人身份来做这个演讲的, 只是恰好对分布式系统感兴趣, 而不是 好,那我们来聊点技术内容。我想讲的是 协作应用,一个经典的例子就是 Google Docs,所以 在那里,如你所知,你可以让多个人在同一个文档中协作 他们可以同时编辑文档,而不必来回发送电子邮件 这非常方便。现在,在这类系统中,我们希望的是 最终,即使多个人可能同时编辑文档 他们最终都应该在屏幕上看到相同的文档,所以 这就是我们所说的收敛属性,每个人都应该最终 在通信后拥有相同的状态。所以如果你今天早上在这里,Heidi Howard 做了一个 关于共识的精彩演讲,那也是关于让分布式系统中的多个节点 就某事达成一致。所以表面上看起来 我们这里的问题与共识有些相似,所以正如我们稍后解释的 在这次演讲中,实际上这是一个非常不同的问题,尽管它看起来 表面上相似,但它所具有的属性是根本不同的, 比较这两者将是本次演讲中有趣的部分。好的,让我们来看一个 你可能熟悉的场景,这是你,一个蓝色的小火柴人, 正在笔记本电脑上编写一些代码,你做出了一些修改,编辑了一些源 文件,将它们保存到本地磁盘。某个时刻你决定准备好 与同事分享这些代码,于是你将其提交到你最喜欢的版本 控制系统中,然后你可能将其推送到一个集中式仓库,也许到 GitHub 或类似的地方,通过某种机制你可以将提交发送给 你的同事。因此,在你编辑代码的同时,也许 你的同事——这个粉色火柴人——也一直在编辑代码,也一直 在修改它,也许也在提交。现在你得到的结果是,如果 这位同事也想将他们的更改推送到服务器,他们首先必须 获取你推送的那个提交,并且必须将它们合并在一起。因此,正如 你之前可能经历过的,这种合并,如果你 编辑的是两个不同的文件,那就很简单,因为在这种情况下 Git 只知道,好吧,两个 不同的文件,我就把它们合并在一起,那些更改是独立的。 如果你们中的一个人更改了文件的顶部,另一个人更改了
HN 上的讨论
最近在读这本书。我强烈推荐它,以及作者Martin Kleppmann的任何视频,我特别喜欢这个:> CRDTs and the quest for distributed consistency [VIDEO] — syspec, 2020-07
我认为最初的陈述是站得住脚的。许多最初的OT论文提出的算法后来被证明在特定情况下不收敛(尤其是TP2难题)。花了一段时间才拨开迷雾,部分原因是TP2需要来自3个对等方的并发编辑。我也强烈推荐Martin Kleppmann的演讲“CRDTs and the Quest for Distributed Consistency”[0],我相信它以我所见过的最清晰、最易懂的方式概述了这一领域;很多文献都相当晦涩。[0]: [VIDEO] — raphlinus, 2019-06
最近看了一个关于这个主题的精彩中级演讲,叫做CRDTs and the Quest for Distributed Consistency[0]。这项研究的一个产物是automerge[1],一个用于处理类似JSON数据模型的协作编辑的库 [0]: [VIDEO] [1]: [LINK] — hardwaresofton, 2018-10
相关视频
- 容器黑客与趣味镜像 · Jessie Frazelle · 38:49
- Netdev 0x16 - 主题演讲:是时候在数据中心替换TCP了 · netdevconf · 1:19:06
- Rich Harris - 重新思考响应式 · You Gotta Love Frontend · 36:45
- 2015年的JavaScript · Glen Maddern · 10:32
- Cgroups、命名空间及其他:容器由什么构成? · Docker · 54:24
- Golang UK Conf. 2016 - Liz Rice - 容器到底是什么?让我们用 Go 从头写一个 · GopherCon UK · 23:00
- Mark Zuckerberg 的 CS50 讲座 - 2005 年 12 月 7 日 · CS50 · 1:05:34
- 16毫秒内8帧:真人快打和不义联盟2中的回滚网络 · GDC Festival of Gaming · 59:38
- Raph Levien 的 Rust 数据导向 GUI - 湾区 Rust 聚会 · Rust Programming Language · 1:05:59
- 深度学习硬件的趋势:Bill Dally(NVIDIA) · Paul G. Allen School · 1:10:57
- 我搞错了。你用的洗涤剂太多了。 · Technology Connections · 48:24
- 量子阴谋:量子力学普及者不想让你知道的事 · Google TechTalks · 1:03:43
- 为什么静态类型回归 • Richard Feldman • GOTO 2022 · GOTO Conferences · 52:00
- Erlang和Elixir的灵魂 • Sasa Juric • GOTO 2019 · GOTO Conferences · 42:02
- “用确定性模拟测试分布式系统” by Will Wilson · Strange Loop Conference · 40:20
- CppCon 2017: Matt Kulukundis “逐步设计一个快速、高效、缓存友好的哈希表” · CppCon · 59:33