Raft 讲座(Raft 用户研究)
Raft lecture (Raft user study)
频道:Diego Ongaro · 时长:58:17 · 发布:2013-08-15 · 播放:86741
简介
John Ousterhout 讲授 Raft 共识算法,为 Raft 用户研究而制作,该研究比较了学生学习 Raft 和 Paxos 的方式。内容涵盖领导者选举和日志修复。
HN 为什么推荐
HN 评论者推荐它作为比论文更清晰的 Raft 入门,也是一项设计良好的可理解性研究的一部分。
这两个视频出色地解释了 Paxos 和 Raft 算法以及它们之间的关键区别。 — HN, 2014
中文字幕节选
大家好,我是John Ousterhout,在本视频中我将介绍Raft共识 算法。Raft的总体目标是在一组服务器上完全相同地复制日志条目, 进而用于创建我们所说的 复制状态机。假设你有一个程序或应用,你想 使其可靠,一种方法是在一组 机器上执行该程序,并确保它们都以完全相同的方式执行。这就是 复制状态机的理念。当我说状态机时,我指的是一个程序或 应用,它接收输入并产生输出。现在,日志可以帮助 确保这些状态机执行完全相同的命令。其工作 原理如下:如果系统的客户端希望执行一个命令,它会将该命令传递给其中一台 机器,我们称该命令为X,然后它被记录在本地 机器的日志中,此外,该命令还会被传递给其他 机器,并记录在它们的日志中。一旦命令被安全地 复制到日志中,它就可以被传递给状态机执行, 当其中一个状态机完成命令的执行后,结果可以 返回给客户端程序。你可以看到,只要 机器中的日志完全相同,并且不同服务器上的状态机 按相同顺序执行日志中的相同命令,我们就知道它们 都会产生相同的结果。因此,共识模块的工作是 管理这些日志,确保它们被正确复制,然后确定何时 可以安全地将命令传递给状态机执行。我们称之为 基于共识的方法的原因是,我们不要求所有服务器 在任何给定时间都在运行。事实上,只要任何 多数服务器在线并能相互通信,系统就必须继续推进。例如, 你可能有一个三台服务器的集群,这可以容忍一台服务器宕机, 只要三台中有两台在线;或者在一个五台服务器的集群中,你可以 容忍两台服务器宕机,只要三台在线。现在让我简要谈谈 我们期望系统处理的故障。我们期望服务器可能 崩溃,但我们期望它们以故障停止的方式崩溃,即它们只是停止 运行,或者可能暂停运行然后稍后恢复,但当它们运行时, 它们行为正确。因此,该协议不处理 服务器具有所谓的拜占庭行为的情况,即恶意行为。我们还 假设网络通信可能中断,消息可能丢失或 延迟,可能乱序到达,并且网络可能 暂时分区,然后分区可能稍后消失。有两种 用于实现共识算法的通用方法。第一种 方法称为对称或无领导者。在这种方法中,所有服务器 具有相同的角色,它们拥有平等的权力,在任何给定时间行为大致相同, 它们都非常平等。客户端可以联系任何服务器来添加 命令到日志并使其被复制。第二种方法称为非对称或 基于领导者。服务器在任何给定时间并不平等,任何时候其中一个 是领导者,它负责通常管理集群的所有操作, 其他服务器则服从,只是执行领导者的意愿。在 这种系统中,客户端总是只与领导者通信,领导者 与其他服务器通信。现在Raft使用第二种基于领导者的方法,这 将共识算法的问题分解为两个不同的部分:一是 正常操作,当有一个正确运行的领导者时;然后 第二部分是当领导者崩溃或必须选举新 领导者时该怎么办。这种方法优点是使正常操作非常简单, 你不必担心不同领导者相互冲突,或者 试图同时做事情。有一个人负责,他们可以做
HN 上的讨论
我所见过的对 Raft 共识算法最清晰的解释之一,是 John Ousterhout 和 Diego Ongaro 的 Raft 用户研究[0]中的那个。这两个视频出色地解释了 Paxos 和 Raft 算法以及它们之间的关键区别。John 的叙述非常清晰,幻灯片也非常有信息量。强烈推荐!Raft 是一种共识算法,设计得比 Paxos 更容易理解。为了衡量 Raft 的可理解性,我们在两所大学使用 CS 学生进行了一项实验研究。我们录制了 Raft 和 Paxos 的视频讲座,并创建了相应的测验。这个页面将我们的材料提供给任何感兴趣的人。我们认为这些对于任何学习共识(无论是 Raft 还是 Paxos 或两者)的人来说都是有价值的资源。 [0] - [LINK] Raft 视频 - [VIDEO] Paxos 视频 - [LINK] — krat0sprakhar, 2014-10
Raft 的创建者制作的这个 YouTube 视频(链接在页面底部)对 Raft 的内部机制给出了扎实的解释 - [VIDEO] — sathish316, 2025-08
一个非常好的 Raft 入门 --> [VIDEO] 如果你对分布式系统感兴趣,并希望看到带有清晰示例的实际实现,这非常有用。 — pkj, 2013-11
另一件要记住的事情是,底层算法(zab 和 raft)提供不同的保证。例如,zookeeper/zab 允许直接从跟随者读取,并保证至少获得一个不会被回滚的过去值。这是 zookeeper 没有使用 paxos 的一个原因:[LINK] 据我理解,raft 不允许直接从跟随者读取,因为当新领导者当选时,跟随者的日志可能会被修复/回滚。(不过我相信实现可以调整协议来提供这种支持。)尽管如此,raft 有很多有趣的应用,而且在我看来,它绝对比众多版本的 paxos 更容易理解。(此时自己实现 zab 将是徒劳的。)我发现 raft 用户研究中的视频做得非常好(甚至比他们的论文更容易理解):raft:[LINK] paxos:[VIDEO] ...然而,我认为他们没有只关注 multi-paxos(这可能是最常见的实现),这对 paxos 不公平。但可以肯定地说,关于 paxos 的信息分散得… — tomjohnson3, 2013-09
Raft 与 Multi-Paxos 非常相似。这些比较两种协议“可理解性”的 Raft 和 Paxos 用户研究可能会有所帮助:[LINK](Paxos),[VIDEO](Raft)。另请参阅各种“Paxos”实现的比较:[LINK] — ignoramous, 2021-07
相关视频
- Paxos 讲座(Raft 用户研究) · Diego Ongaro · 1:06:33
- 如何演讲 · MIT OpenCourseWare · 1:03:42
- 1. 人类行为生物学导论 · Stanford · 57:14
- Erlang和Elixir的灵魂 • Sasa Juric • GOTO 2019 · GOTO Conferences · 42:02
- 领导力实验室:有效写作的艺术 · UChicago Social Sciences · 1:21:51
- MIT 的聚变能之路(IAP 2017)- Zach Hartwig · MIT Plasma Science and Fusion Center · 1:11:39
- 斯坦福 Sapolsky 谈美国抑郁症(完整讲座) · Stanford · 52:28
- 公正:该如何做是好?第 01 集“谋杀的道德侧面” · Harvard University · 54:56
- 第一讲 | MIT 18.06 线性代数,2005 年春季 · MIT OpenCourseWare · 39:49
- “用确定性模拟测试分布式系统” by Will Wilson · Strange Loop Conference · 40:20
- 兰迪·波许的最后一课:实现你童年的梦想 · Carnegie Mellon University · 1:16:27
- 第一讲A:Lisp概述与简介 · MIT OpenCourseWare · 1:12:55
- 讲座 1A | MIT 6.001 计算机程序的构造和解释,1986 · MIT OpenCourseWare · 1:12:55
- 你见过的最重要的视频(8 部分之 1) · wonderingmind42 · 9:17
- 第一讲 | 机器学习(斯坦福) · Stanford · 1:08:40
- 一个转变的讲师的自白:Eric Mazur · UMBCtube · 1:20:08