火线调试:系统失控时保持冷静 • Bryan Cantrill • GOTO 2017
Debugging Under Fire: Keep your Head when Systems have Lost their Mind • Bryan Cantrill • GOTO 2017
频道:GOTO Conferences · 时长:52:34 · 发布:2017-05-10 · 播放:101171
简介
Bryan Cantrill在GOTO Chicago 2017的演讲,探讨压力下调试生产系统,核心是一起操作员输错命令导致整个Joyent数据中心重启的事件。涵盖人为因素、自动化和架构。
HN 为什么推荐
HN在故障和事后分析讨论中常年推荐,被誉为有趣、有教育意义且是任何人见过的最佳事后分析之一。
我见过的最好事后分析实际上是一次会议演讲 — HN, 2023
中文字幕节选
[音乐] 呃,早上好,呃,我是,呃,我是Brian Cantrell,呃,我,呃,显然仍然被 我20多年前发表的uset评论所困扰,呃,所以一切都会永远存在 记住这一点,呃,所以,我,我今天早上要,呃,介绍一个,呃, 贴近我心的主题,呃,尽管它经常引发心脏骤停,或者 感觉如此,呃,那就是,呃,在最紧张的可能条件下进行调试, 呃,在压力下调试,在系统失败时调试,在 停机期间调试,呃,呃,这件事的起源是一个非常非常 非常糟糕的一天,我们几年前经历过,所以,呃,这是一个IRC日志,我,我稍微 编辑了一下,而且我,我显然改了名字,但这是一个内部IRC日志, 呃,显示,呃,这是灾难发生前的那一刻,呃,当其中一个 操作员说我要重启,呃,一堆空的RBS,RBS是Richmond B,那是 我们在joyant拥有的一种计算节点,呃,我现在正在获取列表,现在 我现在应该告诉你,呃,joyant是一家公共云公司,呃,所以是的,我们与 AWS和Google和Azure等竞争,所以我们有自己的公共云,呃, 这是一个公共云的操作员,即将重启一些这些空节点, 以将它们带到新的平台镜像上,另一个操作员说好的,听起来不错, 告诉我什么时候开始,呃,我会在我轮班结束时做, 几个小时后,然后你看到大约七分钟后,呃,另一个操作员 说,呃,us east1正在被重启,呃,问号,有人回复 问号问号,就像什么,那甚至无法解析,那到底是什么意思, 就像us East one是,那是一个数据中心,就像我们不,那不是,我们重启 机器,不是数据中心,那不是一回事,呃,然后操作员3有帮助地 剪切并粘贴了他刚刚在头节点上看到的消息,头节点是 数据中心中的管理节点,说头节点正在关闭, 现在我们基本上从不这样做,呃,现在注销,否则你的文件 有损坏的风险,当然那是,这是经典而古老而愚蠢的 实际上Unix,为什么我们还有这个消息,我甚至不知道,总之,呃,它 看起来就像是这样一个,它是系统发出的这样一个模糊的威胁, 就像,如果你不注销,我会通过随机损坏你的文件来惩罚你,呃, 你实际上,你的文件实际上不会损坏,而且你实际上 甚至不需要注销,顺便说一下,因为系统会自己处理 事情,所以你实际上可以,呃,如果你想,保持登录并继续编辑, 因为我们反正要下线了,呃,其中一个工程师说,所以你们 可以看到,显然有时间戳,说WTF,呃,其中一件事 我们也许在joyant没有帮助地做了,呃,我们有,呃,这是我们的 pre slack,slack,这是我们的,我们的jabber频道,呃,我们有一个机器人, 多年来,呃,这个机器人,我相信,呃,已经超越了vingan奇点, 这个机器人实际上,呃,我们实际上不付钱给机器人,但如果机器人 实际上在某个时候要求薪水,我不会感到惊讶,所以我们添加了各种奇怪的逻辑 到机器人中,有人沿途添加的一件事是,每当有人
HN 上的讨论
我见过的最好的事后分析实际上是一次会议演讲:Bryan Cantrill 的《火线调试:当系统失去理智时保持冷静》(在 GOTO 会议,2017年)这是它的 YouTube 视频:[VIDEO] 这是幻灯片:[LINK] 它详细讲述了一次相当严重的故障(整个数据中心宕机时),涉及人为因素、自动化、他们如何处理、各种风险、架构、事情如何失败以及关于软件开发的一般性内容。 — KronisLV, 2023-03
是时候分享我最喜欢的演讲(以及最喜欢的演讲者)之一了——《火线调试:当系统失去理智时保持冷静》(Bryan Cantrill,GOTO 2017)[VIDEO] — int0x2e, 2023-01
也许不出名,但 Bryan Cantrill,他给出了我最喜欢的演讲,有一个关于 Joyent 一次故障的有趣且好笑的演讲:[VIDEO] — OmarAssadi, 2022-01
Bryan Cantrill 在他的《火线调试》演讲中,将这一事件与软件系统进行了出色的类比(当心半自动化系统):[VIDEO] — cls59, 2023-07
我很惊讶还没看到有人发这个链接,但 dtrace、Sun、lawnmower、Joyent 等项目的传奇人物 Bryan Cantrill 在 Monktoberfest 2016 上做了一场精彩的演讲,题为“软件工程中的口头传统”,其中讲述了 The Story of Mel [1]。强烈推荐大家去看看——里面充满了这样的小宝藏和故事。他的所有其他演讲也很棒,如果你喜欢这类内容,绝对值得一听 [2]。我最喜欢的几个是“Fork Yeah! The Rise and Development of Illumos” [3] 和“Debugging Under Fire: Keep your Head when Systems have Lost their Mind” [4]。[1]: [LINK] [2]: [LINK] [3]: [LINK] [4]: [VIDEO] — OmarAssadi, 2022-08
相关视频
- 性别中立代词:它们来了,习惯就好 · Tom Scott · 3:48
- BlueHat IL 2019 - Andrew “bunnie” Huang - 供应链安全:“如果我是一个民族国家...” · Microsoft Israel R&D Center · 45:37
- 但什么是傅里叶变换?视觉介绍。 · 3Blue1Brown · 19:41
- Dan Geer 在 Black Hat USA 2014 的演讲:网络安全即现实政治 · Black Hat · 54:35
- Mark Blyth ─ 全球特朗普主义 · Watson School of International and Public Affairs · 1:26:03
- 切尔诺贝利 3828 · TeleconStudio · 26:57
- 地平说:一次有分寸的回应 · hbomberguy · 45:17
- TASBlock在AGDQ 2017:TASBot · TASVideosChannel · 58:44
- George Lakoff:道德政治 · University of California Television (UCTV) · 58:57
- Tom Lehrer - Wernher von Braun · The Tom Lehrer Wisdom Channel · 1:46
- 国会筹款:John Oliver 的《上周今夜秀》(HBO) · LastWeekTonight · 21:25
- DCEmu评测 - 27C3 - 2010年混沌通信大会 - fail0verflow - 完整视频 · 1KIND Reviews · 44:39
- 他们由肉组成 · niccollsdp · 6:16
- 让直升机悬停难到好笑 - Smarter Every Day 145 · SmarterEveryDay · 9:45
- 数据 | Philosophy Tube · Philosophy Tube · 26:14
- 另类右翼手册:控制对话 · Innuendo Studios · 10:47
- 《超级马里奥世界》——5:59.6 通关制作人员名单(首次在主机上实现) · SethBling · 9:00
- 通用人工智能的致命真相? - Computerphile · Computerphile · 8:30
- Velocity NY 2013: Richard Cook, "复杂自适应系统中的韧性" · O'Reilly · 19:09
- 关于傅里叶变换的更普遍的不确定性原理 · 3Blue1Brown · 18:06