分布式系统 1.1:引言
Distributed Systems 1.1: Introduction
频道:Martin Kleppmann · 时长:14:35 · 发布:2020-10-28 · 播放:389354
简介
Martin Kleppmann 在剑桥大学本科课程中开设的 8 讲分布式系统系列的第一讲。本讲介绍该主题,并附有配套讲义。
HN 为什么推荐
HN 经常推荐该系列,认为它是一门免费、易于理解、以理论为导向的分布式计算课程,可与他的著作《设计数据密集型应用》互补。
YouTube 上的分布式系统音频课程非常容易理解 — HN, 2021
中文字幕节选
大家好,我叫Martin Kleppmann,接下来我将讲授八节 分布式系统课程。这是并发与分布式系统课程的后半部分, 所以在课程的前半部分,你们已经学了很多关于 单个进程内发生的并发,比如当你有,尤其是当 单个进程内有多个线程在执行 并发操作时,你们已经看到了如何处理互斥,例如,以及各种 确保安全并发的算法。现在在这种并发系统中, 通常所有线程共享一个地址空间,所以你可以 直接从一个线程传递变量到另一个线程,那个变量可以包含 指向任意对象的指针或引用,这能行得通,因为一个线程 可以访问的内存地址与另一个线程可以访问的内存地址 是相同的。现在当我们转向分布式系统时,情况变了, 在分布式系统中我们仍然有并发,我们仍然有多个进程和 多个线程可能并发地执行操作,但我们还有 额外的挑战,现在我们要讨论的不只是运行在 单台计算机上的单个程序,而是运行在多台计算机上的多个程序,这些 计算机通过网络进行通信,我们现在引入的这个方面, 这个网络,是使分布式系统成为分布式的部分原因。另一个方面是, 我们不再有单一的共享地址空间,所以一个指针 在一个进程中有意义,如果你通过网络把它发送到另一个 运行在不同计算机上的进程,那个指针不一定对 消息的接收者有任何意义,所以我们必须考虑不同的方式 在这些并发实体之间共享数据。所以,嗯,一个 分布式系统的定义,有点开玩笑的定义,是由Leslie Lamport给出的,即分布式系统是这样一种系统:其中一台你甚至不知道 存在的计算机发生故障,就能让你自己的计算机无法使用。这个 定义好不好,我们可以辩论,但Leslie Lamport在 分布式系统领域是个传奇人物,我们将会看到他几十年来 所做工作的各个方面,当然还有很多其他人也在这一领域做了工作, 我们将在这些课程中看到。所以更一般地说,我想我会 把分布式系统定义为这样一种系统:其中有多台计算机或 计算设备,这些设备可能是智能手机,可能是机器人,可能 是自动驾驶汽车,可能是台式计算机,可能是 数据中心的服务器,所以真的是任何类型的计算设备,这些计算设备 通过某种网络进行通信,可能是互联网,它们试图 共同完成某种任务,而分布式系统的研究实际上 就是研究我们如何协调这些不同设备的活动, 使它们共同完成它们试图完成的任务。所以我 会从一点背景知识开始,嗯,首先只是行政事务, 把这些做完。所以,嗯,首先,如果你想要任何进一步的背景阅读,嗯,关于 这门课程,希望讲义会相当自足,但 当然,嗯,如果你感兴趣,书中有更详细的内容。嗯,有 几种不同风格的书,我在这里列出了清单,所以 van Steen和Tanenbaum的教科书是一种系统层面的概述,所以这是 它从相当应用的角度来看分布式系统,关注真实人们使用的 真实应用,并讨论,嗯,这些如何工作,讨论各种 实现细节,它不像其他一些书那样深入理论, 但如果你喜欢理论,它更偏向实践。那么
HN 上的讨论
Martin的写作和解释风格真的很棒!我读了他的书DDIA(设计数据密集型应用),并听了他的分布式系统课程讲座[1]。学习是一种享受。我希望在研究生院能有他或像他这样的人。我可能会选他所有的课程 :-)。[1] [VIDEO] — posharma, 2022-03
我发现这本书和他的分布式系统系列讲座[VIDEO]之间有相当多的重叠。这些讲座更偏向理论方法,而这本书更侧重于讨论实际系统;现在两者都涵盖了分布式系统本身。现在youtube上的分布式系统音频课程非常容易获取(我在遛狗时听它们)。这本书也很棒,Kleppmann的写作风格非常平易近人。 — MichaelMoser123, 2021-12
理解分布式系统的良好资源:- 罗伯特·莫里斯(莫里斯蠕虫的创造者)的 MIT 课程:[LINK] - 马丁·克莱普曼(《设计数据密集型应用》的作者):[VIDEO] 如果你能完成上述内容(以及《设计数据密集型应用》),你将对分布式系统中的问题有扎实的理解,如共识、因果关系、脑裂等。你还会对云服务有批判性的眼光,并能够阐述它们的缺点(例如:你知道复制到 DynamoDB 二级索引是最终一致的吗?这对你的应用程序有什么影响?) — bigmutant, 2025-02
我认为我理解这个论点,但随着微服务的出现,情况发生了变化。突然一切都变成了分布式系统,如果没有对主题的一些理解,很难应对。Martin Kleppman的这个系列讲座在这里帮了我不少:[VIDEO] 也看看他的书《设计数据密集型应用》,它更侧重于讨论实际系统。 — MichaelMoser123, 2021-12
他的讲座也在youtube上:[VIDEO] 我一直在尝试一边看MIT 6.824的讲座,一边看片段。 — Wonnk13, 2021-07
相关视频
- 第一讲:介绍 · MIT 6.824: Distributed Systems · 1:19:35
- 01 - 课程介绍与关系模型(CMU 数据库系统 / 2019 年秋季) · CMU Database Group · 1:06:44
- Martin Kleppmann 的 "用 Apache Samza 将数据库翻转" · Strange Loop Conference · 47:42
- 前言 | MIT 微积分重温:单变量微积分 · MIT OpenCourseWare · 32:06
- 类比是认知的核心 · Stanford · 1:08:37
- 增长从何而来?| 克莱顿·克里斯滕森 | Talks at Google · Talks at Google · 1:21:05
- 如何演讲 · MIT OpenCourseWare · 1:03:42
- 1. 人类行为生物学导论 · Stanford · 57:14
- Erlang和Elixir的灵魂 • Sasa Juric • GOTO 2019 · GOTO Conferences · 42:02
- 领导力实验室:有效写作的艺术 · UChicago Social Sciences · 1:21:51
- MIT 的聚变能之路(IAP 2017)- Zach Hartwig · MIT Plasma Science and Fusion Center · 1:11:39
- 斯坦福 Sapolsky 谈美国抑郁症(完整讲座) · Stanford · 52:28
- 公正:该如何做是好?第 01 集“谋杀的道德侧面” · Harvard University · 54:56
- 第一讲 | MIT 18.06 线性代数,2005 年春季 · MIT OpenCourseWare · 39:49
- “用确定性模拟测试分布式系统” by Will Wilson · Strange Loop Conference · 40:20
- 兰迪·波许的最后一课:实现你童年的梦想 · Carnegie Mellon University · 1:16:27