AWS re:Invent 2018:AWS 如何最小化故障影响范围 (ARC338)
AWS re:Invent 2018: How AWS Minimizes the Blast Radius of Failures (ARC338)
频道:Amazon Web Services · 时长:55:43 · 发布:2018-11-27 · 播放:36689
简介
这是一场 AWS re:Invent 2018 的演讲,介绍 AWS 如何限制故障的影响范围。内容涵盖基于单元的架构和 shuffle sharding 等设计技术。
HN 为什么推荐
每当 HN 讨论基于单元的架构和故障隔离时,它都是首选参考,因为这是来自 AWS 工程师的直接解释。
这个 re:invent 演讲的 YouTube 视频[1] 解释得非常好。 — HN, 2020
中文字幕节选
下午好,感谢来参加本次会议,在座的有谁是第一次参加 re:Invent 的 太棒了,欢迎,这将是激动人心的一周,有很多会议 很多派对,很多乐趣,我是 Peter Voss,我是一名杰出工程师 在 AWS,今天我要讲的是 AWS 如何最小化故障的 影响范围,我的职业生涯一直专注于构建高可用的大规模 分布式系统,我学到的一件事,也是你在这个领域很快会学到的 就是宇宙有一些基本属性 你必须应对,首先是光速 每毫秒 186 英里已经相当快了,但正如 今天早上 JPL 的人试图让火星车着陆时学到的,当你进行长距离通信时,它真的 会成为障碍,顺便说一句,他们成功 让火星车着陆了,所以祝贺我们在 JPL 的朋友,一个快乐的 亚马逊客户,一个 AWS 客户,接下来是宇宙中这个烦人的 属性,称为 CAP 定理,这是一个观察,你不能 在构建为分区容忍的分布式系统中同时拥有一致性和可用性 这是 Eric Brewer 在 98 年首次提出的,然后由 MIT 的 Seth Gilbert 和 Nancy Lynch 证明 也许最烦人的是某个叫 Murphy 的人的观察,即 东西不可避免地会坏,会以各种有趣的方式失败 我不知道这是否已被证明,但根据我的经验,这似乎 被证实是真理,现在安全性、可用性、持久性 这些对 AWS 都超级重要,事实上它们是我们的首要任务,然而我们 必须应对墨菲定律,所以今天我要讲的是 亚马逊、AWS 用来控制影响范围的技术 或者当墨菲定律确实发生时的影响程度,我希望你们 听完这次演讲后能更好地理解 AWS 如何 在我们的系统中构建韧性,以及一些你们可以用来减少 自己系统中影响范围的技术,所以影响范围这个术语非常有用 因为失败不是二元的,不是失败或不失败, 而是有影响程度,这是一个非常有用的术语,是我们 AWS 共同语言的一部分 基本上它是一种描述影响程度的方式,所以 如果我们有故障,谈论影响范围的一种方式是它影响了多少 客户,或者多少工作负载,或者什么功能,也许 只是部分功能受到影响,最后在什么 位置,是一个机架、一个数据中心,是整个数据中心,还是整个 区域,显然我们总是更喜欢较小的影响范围,比如单个机架故障 而不是更大范围的故障,所以虽然我们不懈地专注于 预防故障,我会说我们已经非常擅长保持我们的 系统极其高可用,我们也同样不懈地专注于减少影响 范围,对于那些我们确实发生故障的罕见情况,并试图控制它 使其尽可能小,我们这样做的一种方式是在我们的 纠错过程中,也就是我们的事件后复盘过程,每当 有事件发生时,服务团队会分析故障的根本原因 然后确定一系列行动来防止再次发生, 在纠错模板中有一个问题 是关于客户影响的,我们作为一个思考练习问,你如何能将类似事件的 影响范围减半,所以我们总是在思考,即使我们 确实有事件,如何下次使其影响范围更小,所以在 谈论如何做到这一点之前,让我们谈谈事情如何失败,所以一种方式
HN 上的讨论
多可用区不能防止这样的软件/操作系统问题,多可用区在基础设施故障(例如底层EC2实例或网络)时才相关。在这种情况下相关的弹性模式是他们所称的基于单元的架构,即在可用区内,服务被分解为更小的独立单元以最小化爆炸半径。他们在报告中特别提到这是一个他们计划解决的差距,Kinesis的“后端”部分已经单元化,但该步骤尚未在“前端”完成。单元化结合工作负载分区会有所帮助,例如不要在相同的单元集上运行Cloudwatch、Cognito和客户工作负载。同样重要的是要注意,在这种情况下,单元化只有在他们将代码部署限制在有限数量的单元时才有所帮助。这个re:invent演讲的YouTube视频[1]很好地解释了它。基于单元的内容大约从第20分钟开始。1. [VIDEO] — talawahtech, 2020-11
这是一个很好的大纲。Martin Kleppmann的《设计数据密集型应用》[0]与这些笔记中的内容非常相似。谈到规模和分布式系统:我发现AWS的EdgeEngineering/NetEng团队的一些特定资源很有趣(我还没见过AWS中其他服务团队像他们那样公开分享这么多设计内容):- [LINK] 关于Route53的100%数据平面可用性架构的系列文章[1]。- [LINK] colmmacc [2](似乎是AWS HyperPlane [3][4]背后的工程师?)关于构建弹性系统的10种设计模式。- [VIDEO] Peter Vosshall(Dynamo [5]的联合创造者)介绍AWS中使用的“基于单元”的设计。---- [0] [LINK] [1] [LINK] [2] [LINK] [3] [LINK] [4] [LINK] [5] Decandia, G.; Hastoru… — ignoramous, 2019-03
从你的描述来看,“AWS单元”与Borg的非常不同。我的观点是,在高层次上,AWS单元是隔离的、模糊分区的、可迁移的、异构的完整服务栈实例,它们被管理得总是彼此独立失败;如果需要这些单元实例之间的接触点,则通过高可用的中间服务(如ReplicatedStateMachinesOrStorage)建立;客户端由高可用路由层(如NetworkTrafficShapers/DNS)路由到分配的单元,这也可以帮助促进客户端从一个/多个单元迁移到另一个。如果你对分布式系统中的弹性感兴趣,我鼓励你观看关于它的re:invent演讲[0]。[0] [VIDEO] — ignoramous, 2019-03
前 AWS 员工在此。可能是营销,但这是源于亚马逊(以及 AWS)使用 AWS 的架构:- 可靠的可扩展性:Amazon.com 如何在云中扩展,[LINK](2022)- AWS 如何最小化故障的影响范围,[VIDEO](2018)。对于像 Slack 这样需要所有服务接近 100% 正常运行时间的大型企业产品来说,cell 是合理的。 — ignoramous, 2023-08
AWS 投入了大量资源,通过隔离可用区、区域以及使用蜂窝式(服务级隔离分片)架构来限制故障的影响范围。我很惊讶这些理念没有传播到那些试图构建云的新公司:[VIDEO] AWS 并不完美,但这些教训是在实战中得来的,因为这类全局性故障会严重损害声誉。 — faizshah, 2023-03
相关视频
- AWS re:Invent 2016:周二晚间直播 with James Hamilton · Amazon Web Services · 1:33:27
- Tracy Young 在 2015 年女性创始人大会上的演讲 · Y Combinator · 26:51
- Zebras All the Way Down - Bryan Cantrill, Uptime 2017 · Code & Supply · 46:36
- 杰夫·贝索斯 1997 年访谈 · Chuck Severance · 5:39
- 模拟流行病 · 3Blue1Brown · 23:12
- Paxos 讲座(Raft 用户研究) · Diego Ongaro · 1:06:33
- Bret Victor - 在原则中发明 · Rui Oliveira · 54:20
- 编程语言高级主题:无锁哈希表 · GoogleTalksArchive · 58:35
- DNA 动画 (2002-2014) 由 Drew Berry 和 Etsuko Uno 制作 wehi.tv #ScienceArt · WEHImovies · 7:19
- 嘿 Underscore,你做错了! · InfoQ · 36:30
- 主题演讲 - JSON Graph:Netflix 的反应式 REST · Association for Computing Machinery (ACM) · 54:57
- AWS re:Invent 2015 | (NET403) 又一天,又十亿个数据包 · Amazon Web Services · 42:25
- 软件设计哲学 | John Ousterhout | Talks at Google · Talks at Google · 1:01:40
- 用 Linux 替换充满漏洞的固件 - Ronald Minnich, Google · The Linux Foundation · 38:02
- Erlang和Elixir的灵魂 • Sasa Juric • GOTO 2019 · GOTO Conferences · 42:02
- “用确定性模拟测试分布式系统” by Will Wilson · Strange Loop Conference · 40:20