开发人员删除整个生产数据库,混乱随之而来

Dev Deletes Entire Production Database, Chaos Ensues

频道:Kevin Fang · 时长:10:20 · 发布:2023-04-26 · 播放:3646384

在 YouTube 观看

简介

Kevin Fang以喜剧方式重述GitLab 2017年的事件,一名工程师删除了生产数据库,基于公司的事后分析。它讲述了混乱和失败的备份。

HN 为什么推荐

被分享为对经典故障的搞笑、准确重述,尤其是在糟糕的运维日。

Kevin Fang的重演总是在糟糕的日子里带来喜剧效果。 — HN, 2024

数据库与存储 · 云、DevOps 与可靠性 · 讽刺与恶搞

中文字幕节选

UTC时间下午6点,硅谷美好的一天, GitLab总部的工作如常进行。 开个玩笑,GitLab是完全远程的。GitLab是一个代码 共享平台,就像GitHub一样,只不过是开源的。 这个故事的主角,team-member-1正准备下班, 对即将到来的灾难一无所知。他 按UTC时间工作,所以是这些国家之一。 不幸的是,他的傍晚在6点被打断了, 因为数据库高负载他被呼叫了。 在浏览了仪表板后,他看到 代码片段的总数正在急剧上升, 并假设根本原因是垃圾信息。 这是一个合理的假设,因为GitLab在过去一周 一直遇到类似的垃圾信息问题, 只是没那么严重。几个小时里,团队试图 封锁某些垃圾IP以及删除垃圾 用户。到晚上9点,他们收到警报,数据库 的锁数量升高。每当对记录进行写 事务时,它会强制执行 一个锁,迫使对该记录的进一步写入 等待第一个完成。这确保了 写入不会相互干扰。 更多垃圾信息,更多写入,更多锁,更多延迟。 工程师们继续寻找其他垃圾信息 来源。team-number-1说他要下班了, 因为时间不早了。突然,另一个 警报响起,这次是数据库复制 延迟。GitLab有两个数据库:一个主数据库和一个 辅助副本。用户会写入主 数据库db1.cluster.gitlab.com,它会将 相同的写入转发到辅助数据库db2。第二个 数据库集群处于待机状态,仅用于 故障转移目的,这是他们过去学到的教训, 当时db1是单点故障。将 相同的写入转发到db2的 过程称为复制,超过4千兆字节的 db1中的数据未能复制到db2。这 是一个没有适当文档的新问题,所以 team-member-one保持在线以支持团队。 他们使用的数据库是PostgreSQL,它有一个 命令pg_basebackup用于从 活动数据库创建备份。计划是删除db2上 现有的不完整数据,并运行pg_basebackup 将当前的db1数据复制到db2,然后 从那里重新启动复制。根据 计划,team-member-1通过ssh登录到db2,删除了 现有数据并尝试运行该命令。 起初,命令只是挂起,似乎什么也没做, 但重试命令后,它抱怨 db1没有足够的复制客户端。 没问题,team-member-1继续通过SSH 登录到db1并在配置中增加这个值。 在尝试重新加载Postgres时,它抱怨 打开的连接太多,这 发生在最大连接数设置得太高时。 他降低了这个值,这次设置 应用没有问题。回到db2,他再次运行 pg_basebackup,又一次它似乎 只是挂起,什么也没做。此时,沮丧 开始袭来。工程师们认为也许 之前运行 pg_basebackup 的尝试 在配置更改之前,已经在数据目录中 创建了一些有问题的文件,干扰了 当前的运行。解决办法是删除这些 文件并重试。“好吧,不妨试 一试,”团队成员1想,“硬重置一下, 从干净的状态开始,可以这么说。”他准备

HN 上的讨论

每次提到GL,我都会想起2017年的事件,当时有人“rm -rf”了主pg数据日志。Kevin Fang的重演总是在糟糕的日子里带来喜剧效果。[VIDEO] 很遗憾他们要出售,但我想这迟早会发生。GH正在吸走所有市场份额。我有点喜欢能够自托管自己的GL。但对于小型/个人用例来说,这有点过度了。 — xyst, 2024-08
“当程序没有什么令人惊讶的事情要说时,它应该什么都不说。”这在理论上听起来不错,直到你遇到这样的问题:[VIDEO] 太长不看:GitLab大部分宕机事件中,他们删除了主生产数据库和备份生产数据库,如果只是等待命令行操作完成就可以解决——但由于缺乏反馈,他们认为它已经冻结,导致其他几个计划使情况变得更糟。 — laserDinosaur, 2023-09
这里有一个关于GitLab因有人删除生产数据库而宕机的重述:“开发人员删除整个生产数据库,混乱随之而来” [VIDEO] — sovietmudkipz, 2023-07
如果主节点故障,副本会故障转移吗?你怎么知道?备份工作正常吗?谁在检查?有人能在周五下午6点疲惫时删除目录吗?[VIDEO] — renegade-otter, 2024-04

相关视频