开发人员删除整个生产数据库,混乱随之而来
Dev Deletes Entire Production Database, Chaos Ensues
频道:Kevin Fang · 时长:10:20 · 发布:2023-04-26 · 播放:3646384
简介
Kevin Fang以喜剧方式重述GitLab 2017年的事件,一名工程师删除了生产数据库,基于公司的事后分析。它讲述了混乱和失败的备份。
HN 为什么推荐
被分享为对经典故障的搞笑、准确重述,尤其是在糟糕的运维日。
Kevin Fang的重演总是在糟糕的日子里带来喜剧效果。 — HN, 2024
数据库与存储 · 云、DevOps 与可靠性 · 讽刺与恶搞
中文字幕节选
UTC时间下午6点,硅谷美好的一天, GitLab总部的工作如常进行。 开个玩笑,GitLab是完全远程的。GitLab是一个代码 共享平台,就像GitHub一样,只不过是开源的。 这个故事的主角,team-member-1正准备下班, 对即将到来的灾难一无所知。他 按UTC时间工作,所以是这些国家之一。 不幸的是,他的傍晚在6点被打断了, 因为数据库高负载他被呼叫了。 在浏览了仪表板后,他看到 代码片段的总数正在急剧上升, 并假设根本原因是垃圾信息。 这是一个合理的假设,因为GitLab在过去一周 一直遇到类似的垃圾信息问题, 只是没那么严重。几个小时里,团队试图 封锁某些垃圾IP以及删除垃圾 用户。到晚上9点,他们收到警报,数据库 的锁数量升高。每当对记录进行写 事务时,它会强制执行 一个锁,迫使对该记录的进一步写入 等待第一个完成。这确保了 写入不会相互干扰。 更多垃圾信息,更多写入,更多锁,更多延迟。 工程师们继续寻找其他垃圾信息 来源。team-number-1说他要下班了, 因为时间不早了。突然,另一个 警报响起,这次是数据库复制 延迟。GitLab有两个数据库:一个主数据库和一个 辅助副本。用户会写入主 数据库db1.cluster.gitlab.com,它会将 相同的写入转发到辅助数据库db2。第二个 数据库集群处于待机状态,仅用于 故障转移目的,这是他们过去学到的教训, 当时db1是单点故障。将 相同的写入转发到db2的 过程称为复制,超过4千兆字节的 db1中的数据未能复制到db2。这 是一个没有适当文档的新问题,所以 team-member-one保持在线以支持团队。 他们使用的数据库是PostgreSQL,它有一个 命令pg_basebackup用于从 活动数据库创建备份。计划是删除db2上 现有的不完整数据,并运行pg_basebackup 将当前的db1数据复制到db2,然后 从那里重新启动复制。根据 计划,team-member-1通过ssh登录到db2,删除了 现有数据并尝试运行该命令。 起初,命令只是挂起,似乎什么也没做, 但重试命令后,它抱怨 db1没有足够的复制客户端。 没问题,team-member-1继续通过SSH 登录到db1并在配置中增加这个值。 在尝试重新加载Postgres时,它抱怨 打开的连接太多,这 发生在最大连接数设置得太高时。 他降低了这个值,这次设置 应用没有问题。回到db2,他再次运行 pg_basebackup,又一次它似乎 只是挂起,什么也没做。此时,沮丧 开始袭来。工程师们认为也许 之前运行 pg_basebackup 的尝试 在配置更改之前,已经在数据目录中 创建了一些有问题的文件,干扰了 当前的运行。解决办法是删除这些 文件并重试。“好吧,不妨试 一试,”团队成员1想,“硬重置一下, 从干净的状态开始,可以这么说。”他准备
HN 上的讨论
每次提到GL,我都会想起2017年的事件,当时有人“rm -rf”了主pg数据日志。Kevin Fang的重演总是在糟糕的日子里带来喜剧效果。[VIDEO] 很遗憾他们要出售,但我想这迟早会发生。GH正在吸走所有市场份额。我有点喜欢能够自托管自己的GL。但对于小型/个人用例来说,这有点过度了。 — xyst, 2024-08
“当程序没有什么令人惊讶的事情要说时,它应该什么都不说。”这在理论上听起来不错,直到你遇到这样的问题:[VIDEO] 太长不看:GitLab大部分宕机事件中,他们删除了主生产数据库和备份生产数据库,如果只是等待命令行操作完成就可以解决——但由于缺乏反馈,他们认为它已经冻结,导致其他几个计划使情况变得更糟。 — laserDinosaur, 2023-09
这里有一个关于GitLab因有人删除生产数据库而宕机的重述:“开发人员删除整个生产数据库,混乱随之而来” [VIDEO] — sovietmudkipz, 2023-07
如果主节点故障,副本会故障转移吗?你怎么知道?备份工作正常吗?谁在检查?有人能在周五下午6点疲惫时删除目录吗?[VIDEO] — renegade-otter, 2024-04
相关视频
- 杀猪盘诈骗:上周今夜秀与约翰·奥利弗(HBO) · LastWeekTonight · 24:27
- “用确定性模拟测试分布式系统” by Will Wilson · Strange Loop Conference · 40:20
- Rich Hickey 谈价值的价值 · InfoQ · 31:43
- Velocity NY 2013: Richard Cook, "复杂自适应系统中的韧性" · O'Reilly · 19:09
- 火线调试:系统失控时保持冷静 • Bryan Cantrill • GOTO 2017 · GOTO Conferences · 52:34
- USENIX Security '18-Q:为什么主题演讲者不断建议改进安全性是可能的? · USENIX · 51:22
- AWS re:Invent 2018: Amazon DynamoDB 深入探讨:DynamoDB 高级设计模式 (DAT401) · Amazon Web Services · 59:56
- 爱的陷阱 · Ben Woodhams · 2:58
- Martin Kleppmann 的 "用 Apache Samza 将数据库翻转" · Strange Loop Conference · 47:42
- Literate Devops with Emacs · Howard Abrams · 28:36
- 最终一致性的冲突解决 • Martin Kleppmann • GOTO 2016 · GOTO Conferences · 51:35
- NaN 门和翻转 FLOPS · suckerpinch · 19:07
- 01 - 课程介绍与关系模型(CMU 数据库系统 / 2019 年秋季) · CMU Database Group · 1:06:44
- Erlang电影II:续集 · gar1t · 9:55
- 论PowerPoint的图灵完备性(SIGBOVIK) · Tom Wildenhain · 5:33
- 鸡鸡鸡鸡 · Yoram Bauman · 4:06