AWS re:Invent 2014 |(SPOT302)深入 AWS:其核心分布式系统

AWS re:Invent 2014 | (SPOT302) Under the Covers of AWS: Its Core Distributed Systems

频道:Amazon Web Services · 时长:46:14 · 发布:2014-11-18 · 播放:10337

在 YouTube 观看

简介

AWS re:Invent 2014 的一场演讲,介绍 AWS 和 Amazon.com 背后的核心分布式系统原语,如共识、键值存储和事务日志。它描述了 AWS 如何用少数通用构建块构建大型服务。

HN 为什么推荐

HN 指出它让人深入了解 AWS 如何看待分布式系统以及共识的难度。

那场演讲充满了关于 AWS 如何看待分布式系统的深刻见解。 — HN, 2022

分布式系统 · 云、DevOps 与可靠性

HN 上的讨论

> “分布式系统只有三种模式——它自己实现 paxos/raft,它依赖实现 paxos/raft 的数据存储,或者它是错的。” 这听起来像是 Al Vermeulen 会说的话。不过我记得的引述更像是:“有三种类型的一致性分布式系统:paxos、坏掉的协议和单点故障。” 我猜它来自的演讲是 Under The Covers: Core Distributed Systems Primitives that Power Our Platform[0]。那个演讲充满了关于 AWS 如何看待分布式系统的深刻见解。另一位演讲者 Swami 现在是 AWS 数据库的副总裁,但最初是启动亚马逊最初的 Paxos 实现。我有幸参与了那些核心构建块的工作,那是一次不可思议的经历。 0 - [VIDEO] — rubiquity, 2022-05
> 但我没想到像管理物理 EC2 节点租约的服务这样核心的东西竟然没有恢复程序。 我猜他们没有针对“拥塞崩溃”边缘情况的恢复程序。我见过类似的情况,所以我不会对此皱眉。不过有几个危险信号: 1. 这个 DWFM 明显缺乏负载削减支持,以至于必须重启服务器。需要从 [LINK] 学习 2. 这个 DWFM 服务依赖 DynamoDB,而不是像 Chubby 这样更原始的东西。需要从 [VIDEO] 了解更多关于分布式系统原语的知识 — throwdbaaway, 2025-10
我前几天刚看了一个关于这个的演讲(假设是同一个人,因为他说的是同样的事情):[VIDEO] — dtjohnnymonkey, 2022-08
> 基本 Paxos 太基础了,人们大多运行它的修改版本来获得更高的吞吐量和更好的延迟。经过这些修改后,它与 Raft 看起来并没有太大不同。 AWS 创始工程师之一 Alan Vermeulen 称发明新的分布式共识解决方案是在重新发现 Paxos。[VIDEO] — ignoramous, 2021-07
> S3 周围有一些独特之处。我们在新闻稿中发布了一套十条分布式系统原则。这十条原则与 S3 分开,说明了你应该如何构建大规模分布式系统。我们只是展示了 S3 是应用这些技能的绝佳范例。 以我自己的天真方式,我相信今天的 AWS 可能比最初那十条原则更能体现 James Hamilton 的愿景 [0]。 - > S3 成功的关键之一是,在发布时,它尽可能简单,只提供 GetObject 和 PutObject。当时这颇具争议,因为该产品看起来几乎过于简陋……当时大多数科技公司都在提供一切以及厨房水槽,还会附带一本非常厚的书和 10 个不同的合作伙伴来告诉你如何使用该技术。我们走了一条路,Jeff [Bezos] 多年前将其描述为构建工具而不是平台。 大多数人没有意识到,但从 2002 年左右开始,“Web 服务”(SOA、UDDI、WSDL 等)非常热门,包括雅虎、谷歌和微软在内的每家… — ignoramous, 2021-03

相关视频