最终一致性的冲突解决 • Martin Kleppmann • GOTO 2016

Conflict Resolution for Eventual Consistency • Martin Kleppmann • GOTO 2016

频道:GOTO Conferences · 时长:51:35 · 发布:2016-12-21 · 播放:46323

在 YouTube 观看

简介

Martin Kleppmann 在 GOTO Berlin 2016 的演讲,讲述协作编辑器、离线应用和多数据中心数据库如何处理并发更新。内容涵盖冲突解决方法,包括操作转换和 CRDT,并详细探讨了文本 CRDT。

HN 为什么推荐

被视为关于 CRDT 和协作编辑的入门级但深入的必看指南,在 Automerge、本地优先软件以及 OT 与 CRDT 对比的讨论中反复被推荐。

演讲的其余部分也强烈推荐给任何对 CRDT 入门感兴趣的人。 — HN, 2019

数据库与存储 · 分布式系统

中文字幕节选

(流畅的电子音乐) - 大家好,非常感谢各位的到来。 早上好。希望你们一切顺利。 今天我想谈谈分布式系统中的 冲突解决,也就是说,如果几个人 各自独立地修改一些数据, 会发生什么,我们如何解决那些将会出现的冲突。 我的背景是,我是剑桥大学的研究员。 我之前在工业界和多家互联网初创公司工作过。 比如,我在LinkedIn工作了几年。 目前,我正在研究这个名为Trve Data的研究项目。 拼写是T-R-V-E,我们试图做的是将端到端加密 带到更广泛的应用中。 比如Google Docs这样的应用,几个人可以同时在线编辑文档, 但不必信任Google的服务器, 因为我们想要做的是能够将数据放在云中的各种服务器上, 而不必担心如果它们被入侵等情况会发生什么。 这就是这一切的背景。 今天我不谈加密和安全协议, 我只关注整个项目中的一小部分, 即如果几个人同时编辑数据 会发生什么,以及我们如何解决这个问题。 所以我想从一个你们可能熟悉的场景开始, 那就是你,这里的一个蓝色小人, 正在你的电脑上编写一些代码, 在某个时候你决定代码完成了, 然后你用你最喜欢的版本控制系统提交它。 这里我就以Git为例,此时,你把代码 放入仓库,然后可能推送到某个地方, 以便其他人也能看到这些代码。 在Git的情况下,你可能会推送到GitHub上的仓库, 这就是你团队中人们的沟通机制。 所以如果有其他人,比如这个红色小人, 也在编写代码,那么你可以通过 中央仓库同步。这一切都非常熟悉,这是我们每天做的事情, 所以这里的红色小人可能同时独立地 也在同一个代码库上工作,也做了一次提交,那么, 如果这个人现在从GitHub获取,他们要么必须 进行合并或变基,如果那是你的工作流程的话, 或者类似的操作。 所以这些更改必须以某种方式组合在一起, 正如你可能经历过的, 如果人们更改同一仓库中的不同文件, 那没问题,它们会干净地合并。 如果一个人更改了文件的开头, 另一个人更改了文件的结尾, 那可能没问题,因为版本控制系统 会自动合并它们。 如果人们更改了同一文件的同一部分, 那么你将不得不自己解决合并冲突, 然后我们有这些工具来进行三方合并,从一个地方复制补丁到另一个地方, 并弄清楚结果应该是什么。 所以你可能不得不处理这样的事情。 这正是我在谈论的问题。 但这个问题不仅出现在软件开发中。 这是一个非常普遍的问题。 想象你是一家律师事务所的律师, 也许正在谈判一份合同,一方是你的客户, 另一方是另一家公司的律师事务所, 每个人都在来回发送这些版本的合同 而这些合同很可能是 Microsoft Word 文档 因为律师就是这么工作的,他们通过电子邮件发送这些东西 所以一个人对这些 Word 文档进行修改,然后点击保存 然后与此同时,也许另一个人,也许在另一家公司 也在更新同一个文档。 修改它,现在你们把这些修改通过电子邮件互相发送

HN 上的讨论

> 确实,CRDT 的文献指定了一个数学上正确的答案。但这并不总是与人类认为最忠实于意图的渲染一致。这是一个非常突出的点,任何考虑使用 CRDT 来“解决”用户界面应用程序中同步问题的人都必须考虑到。是的,CRDT 将保证客户端最终收敛到一个相同的、数学上“一致”的状态,但不能保证这个数学上“一致”的状态对需要消费该状态的应用程序业务逻辑或需要对渲染结果进行推理的人类有任何意义。这是一个完全不同的难题,我们仍然需要解决才能构建可用的应用程序。Martin Kleppmann 关于这个主题的演讲中有一个很好的例子来说明这一点:[VIDEO] 对于任何对 CRDT 入门感兴趣的人,也强烈推荐演讲的其余部分。作者在文本编辑器上下文中提到的 CRDT 的权衡是有道理的,但我很好奇想听听 Xray 团队目前对这个主题的看法,因为他们将协作编辑作为明确的核心目标(这可能会相对而言将价值主张转向使用 … — lewisl9029, 2019-05
CRDT 在 IPFS 社区中讨论得相当活跃,特别是在这里:[LINK](如果你对 CRDT 感兴趣,有很多很棒资源)也看看 automerge,一个旨在尽可能像 JSON 的 CRDT:[LINK] Martin Kleppmann(Automerge 的创建者之一)已经做了几个关于它的很棒的深入演讲,例如 [VIDEO] — lachenmayer, 2019-03
CRDT 很棒,我在 Christopher 的工作中看到了很多高质量。对于对 CRDT 主题感兴趣的人,还有一些其他资源:- 我们的卡通解释 [LINK] - Martin Kleppmann 的出色演讲 [VIDEO] - Marc Shapiro 的深入演讲 [LINK] — marknadal, 2019-03
我花了近十年时间研究 CRDT,主要是从行业角度,但也有一些学术方面。它们很棒,如果你花时间思考,并不太难理解。以下是我们制作的一些动画/互动卡通解释,以帮助教授这些概念:- CRDT 版本的操作转换(Google Docs)如何工作:[LINK] - 为什么 CRDT 比 PAXOS/RAFT 等集中式替代方案更好:[LINK] Martin Kleppmann 的工作(Automerge 的作者)非常出色,特别是看看:[VIDEO] — marknadal, 2018-02
这个网站和流行的 [LINK] 有关吗?天哪,这是一篇内容丰富的文章,为分布式系统术语的许多详细变体提供了很好的定义,甚至还有一些漂亮的图片来解释这些概念!我的专长是最终一致的数据类型,虽然那部分要小得多,但他们有一些链接可以跟进 CRDT 相关内容。> 通常功能有限,并带来性能开销 对于 CRDT 来说,这大部分是正确的。然而,我们刚刚与一些斯坦福的同事在一篇新论文中形式化并提出了一种构建可泛化 CRDT 的方法。它实际上允许在其之上构建其他更针对具体情况的 CRDT,我们在 gunDB 中使用它,这样你就可以获得更优化的 CRDT 的优势,同时还能将其他数据粘合在一起。另一组非常有趣的 CRDT,他们没有提到,是用于制作 Google Doc 去中心化版本的 CRDT:- Martin Kleppmann 有一个非常棒/有趣的演讲:[VIDEO] - 我们最近做了一个“外行”动画解释… — marknadal, 2017-09

相关视频