AWS re:Invent 2014 |(SPOT302)深入 AWS:其核心分布式系统
AWS re:Invent 2014 | (SPOT302) Under the Covers of AWS: Its Core Distributed Systems
频道:Amazon Web Services · 时长:46:14 · 发布:2014-11-18 · 播放:10337
简介
AWS re:Invent 2014 的一场演讲,介绍 AWS 和 Amazon.com 背后的核心分布式系统原语,如共识、键值存储和事务日志。它描述了 AWS 如何用少数通用构建块构建大型服务。
HN 为什么推荐
HN 指出它让人深入了解 AWS 如何看待分布式系统以及共识的难度。
那场演讲充满了关于 AWS 如何看待分布式系统的深刻见解。 — HN, 2022
HN 上的讨论
> “分布式系统只有三种模式——它自己实现 paxos/raft,它依赖实现 paxos/raft 的数据存储,或者它是错的。” 这听起来像是 Al Vermeulen 会说的话。不过我记得的引述更像是:“有三种类型的一致性分布式系统:paxos、坏掉的协议和单点故障。” 我猜它来自的演讲是 Under The Covers: Core Distributed Systems Primitives that Power Our Platform[0]。那个演讲充满了关于 AWS 如何看待分布式系统的深刻见解。另一位演讲者 Swami 现在是 AWS 数据库的副总裁,但最初是启动亚马逊最初的 Paxos 实现。我有幸参与了那些核心构建块的工作,那是一次不可思议的经历。 0 - [VIDEO] — rubiquity, 2022-05
> 但我没想到像管理物理 EC2 节点租约的服务这样核心的东西竟然没有恢复程序。 我猜他们没有针对“拥塞崩溃”边缘情况的恢复程序。我见过类似的情况,所以我不会对此皱眉。不过有几个危险信号: 1. 这个 DWFM 明显缺乏负载削减支持,以至于必须重启服务器。需要从 [LINK] 学习 2. 这个 DWFM 服务依赖 DynamoDB,而不是像 Chubby 这样更原始的东西。需要从 [VIDEO] 了解更多关于分布式系统原语的知识 — throwdbaaway, 2025-10
我前几天刚看了一个关于这个的演讲(假设是同一个人,因为他说的是同样的事情):[VIDEO] — dtjohnnymonkey, 2022-08
> 基本 Paxos 太基础了,人们大多运行它的修改版本来获得更高的吞吐量和更好的延迟。经过这些修改后,它与 Raft 看起来并没有太大不同。 AWS 创始工程师之一 Alan Vermeulen 称发明新的分布式共识解决方案是在重新发现 Paxos。[VIDEO] — ignoramous, 2021-07
> S3 周围有一些独特之处。我们在新闻稿中发布了一套十条分布式系统原则。这十条原则与 S3 分开,说明了你应该如何构建大规模分布式系统。我们只是展示了 S3 是应用这些技能的绝佳范例。 以我自己的天真方式,我相信今天的 AWS 可能比最初那十条原则更能体现 James Hamilton 的愿景 [0]。 - > S3 成功的关键之一是,在发布时,它尽可能简单,只提供 GetObject 和 PutObject。当时这颇具争议,因为该产品看起来几乎过于简陋……当时大多数科技公司都在提供一切以及厨房水槽,还会附带一本非常厚的书和 10 个不同的合作伙伴来告诉你如何使用该技术。我们走了一条路,Jeff [Bezos] 多年前将其描述为构建工具而不是平台。 大多数人没有意识到,但从 2002 年左右开始,“Web 服务”(SOA、UDDI、WSDL 等)非常热门,包括雅虎、谷歌和微软在内的每家… — ignoramous, 2021-03
相关视频
- Erlang和Elixir的灵魂 • Sasa Juric • GOTO 2019 · GOTO Conferences · 42:02
- “用确定性模拟测试分布式系统” by Will Wilson · Strange Loop Conference · 40:20
- Velocity NY 2013: Richard Cook, "复杂自适应系统中的韧性" · O'Reilly · 19:09
- 火线调试:系统失控时保持冷静 • Bryan Cantrill • GOTO 2017 · GOTO Conferences · 52:34
- AWS re:Invent 2018: Amazon DynamoDB 深入探讨:DynamoDB 高级设计模式 (DAT401) · Amazon Web Services · 59:56
- Erlang Factory 2014 - 那是带 'B' 的 'Billion':在 WhatsApp 扩展到下一个级别 · Erlang Solutions · 49:15
- Martin Kleppmann 的 "用 Apache Samza 将数据库翻转" · Strange Loop Conference · 47:42
- 系统的语言 - Rich Hickey · ClojureTV · 1:02:49
- Google I/O 2012 - Go 并发模式 · Google for Developers · 51:27
- Literate Devops with Emacs · Howard Abrams · 28:36
- 最终一致性的冲突解决 • Martin Kleppmann • GOTO 2016 · GOTO Conferences · 51:35
- “Unison:一种新的分布式编程语言” by Paul Chiusano · Strange Loop Conference · 41:05
- Paxos 讲座(Raft 用户研究) · Diego Ongaro · 1:06:33
- Hewitt、Meijer 和 Szyperski:Actor 模型(你想知道的一切...) · jasonofthel33t · 42:34
- 从零开始构建容器 • Liz Rice • GOTO 2018 · GOTO Conferences · 42:53
- 超过20万台服务器在一个地方!参观德国法尔肯施泰因的Hetzner · der8auer EN · 20:29