为什么谷歌将数十亿行代码存储在单一代码库中
Why Google Stores Billions of Lines of Code in a Single Repository
频道:@Scale · 时长:30:50 · 发布:2015-09-14 · 播放:317620
简介
Rachel Potvin 描述了谷歌代码库的规模及其定制的单体源代码仓库。她解释了采用 monorepo 模式的原因、使其可行的工具以及权衡取舍。
HN 为什么推荐
在 monorepo 和基于主干的开发讨论中的首选参考,被推荐为谷歌如何管理源代码控制的第一手资料。
我推荐这个描述它的视频。 — HN, 2017
中文字幕节选
请和我一起欢迎来自谷歌的Rachel 非常感谢Brian,我叫Rachel Puffin,是谷歌的一名工程经理 你们中一些观察力比较敏锐的人可能已经注意到,我也 极度怀孕,我下周就要生了,所以这就是为什么这里的椅子 以防万一,哦好吧,我理解错了,嗯 所以今天我要和你们谈谈谷歌的源代码控制管理策略 可能你们很多人都听说过,我们在谷歌使用一个巨大的单一共享 代码库,可能乍一看你们中有些人会觉得这 实际上很疯狂,所以这次演讲的目的是向你们解释我们选择 这种方法背后的原因,我职业生涯始于视频游戏 行业,在那里我做了多年的软件开发人员,当时 我工作的公司会同时开发多个游戏,每个 游戏都在自己独立的仓库中,很多时候这些游戏 都建立在相同的游戏引擎之上,所以我们在每个仓库中 都有一份游戏引擎代码的副本,这些代码会各自独立演化, 然后无一例外地,某个地方的管理者会决定,在一个代码库中 实现的某个功能需要移植到其他代码库,于是我们就要 经历这个非常痛苦的合并过程,你们可能都很熟悉,所以 七年半前我面试谷歌时,基于我的经验, 我立刻被这种单一仓库模型所吸引,即使在 当时它就已经在使用了,而在那之后的近8年里,我们的 仓库在几乎每个维度上都增长了数个数量级,所以正如你们 可以想象的,我们不得不彻底改造和重新设计我们用来 存储和处理这个代码库的工具,所以你知道,这些年来 我们一次又一次地考虑过,是否应该把这个单一的巨型仓库 拆分成多个仓库,而每次我们都决定不想 那样做,而是想继续投资于可扩展性,所以这次演讲 会多谈一点我们为什么选择这种方法,以及为什么我们 继续决定坚持使用一个单一仓库 所以再次强调,这里的目标是说服你们,我们这样做确实不是疯了 我先分享一些关于谷歌仓库规模的数字, 然后我会谈一谈我们用来使这个仓库 高效工作的系统和工作流程,接着我会开始谈论 我们看到的这种源代码控制管理风格的优点和缺点 所以首先让我们谈谈规模,其中一些 数字以前从未在谷歌之外分享过,谷歌的单一源代码 仓库被谷歌约95%的工程师使用,坦率地说 它非常庞大,虽然无法证明,但我猜这可能是 世界上使用中最大的单一仓库,所以我们的代码库包含 大约10亿个文件,历史记录约有3500万次提交, 从唯一源文件的数量可以看出,我们的仓库实际上 存储的远不止源代码,我们有生成的源代码配置 文件、文档、支持数据文件等等,我应该指出,这10亿个文件 还包括最新修订版中已删除的文件,以及 复制到发布分支中的文件,所以在平均工作日, 我们的仓库大约有45,000次提交,这些数字都是 我们仓库一月份的快照,好吧,所以我们的仓库很大, 但仓库的变化率也很大,这张图显示了 提交到我们仓库的总变更数,以百万计,随时间变化, 跨越了谷歌的整个存在期,你可以注意到,不仅仓库的 规模在增长,变化率也在增长,这是一条 指数曲线,如果你想一想,看看2004年的数据,
HN 上的讨论
谷歌员工的意见是我自己的。我也强烈推荐这篇2016年关于我们源代码控制的ACM文章。[LINK] 还有一篇YouTube视频,从wired文章链接过来,很好。[VIDEO] — kyrra, 2022-05
谷歌不再使用Perforce了。他们有一个自定义的内部SCM,上面包裹了各种接口。我推荐这个描述它的视频。[VIDEO] — kyrra, 2017-01
构建Go二进制文件(但不是库)的人通常会将依赖项的代码检入。所以每当你构建Docker时,你会得到同样的东西,除非Docker做了更改(要么通过更改Docker本身,要么明确检入依赖项的升级)。这样做有一些好处;vendoring意味着你不会依赖于其他仓库或归档的可用性,而且如果你是一个二进制维护者,你可以并排查看自己的代码和依赖项的源代码更改,比如,如果你正在调查某些修订之间出现的bug。不好的地方基本上如你所想。没有命令说“给我升级,但不是作者标记为破坏性更改的升级”。如果你正在编写一个被其他库依赖的库,没有一种传统的方法来安全地进行破坏性更改,所以有很多努力来避免这些更改,有时还有像不同版本使用不同仓库路径这样的技巧。部分历史是,在谷歌内部,根据公司政策,他们在源代码控制树的最新修订中只有一个版本的第三方代码。你为一个升级,你就为整个代码库升级。听起来令人生畏,但他们有很多测试、金… — twotwotwo, 2016-07
去年这篇论文调查了谷歌“同时具有单体仓库和多个按项目仓库经验的工程师”,以了解他们对单体仓库的喜好和厌恶。结果与我的经验相符,我认为这篇论文写得很好(尤其喜欢“有效性威胁”部分,它说明了哪些偏见可能影响了结果;更多论文和论点应该有这个,我认为)。我所知道的关于单体仓库的较早阅读材料:• Dan Luu,单体仓库的优势(2015)[LINK] • 为什么谷歌将数十亿行代码存储在单一代码库中(2015):[LINK](HTML)/ [LINK](PDF)/ [VIDEO](视频)这篇论文来自ICSE 2018会议的“实践中的软件工程”轨道:• [LINK] — svat, 2019-03
我不理解的是他们如何完成更大的协作更改。论文说:“几乎所有开发都发生在仓库的‘头部’,而不是分支上。”谷歌员工Rachel Potvin在她的演讲“单体代码库的动机”中说得更强烈[1]:“在谷歌,为开发而分支是极其罕见的[..]”在她与Josh Levenberg发表的ACM论文中,有声明说:“在谷歌,分支上的开发不常见且支持不好,尽管分支通常用于发布。”在我的世界里,当我们需要做一个更大的更改时,我们创建一个分支,只有当它足够好可以集成时才合并到主干。分支使我们能够一起进行那个更改。我不理解他们在谷歌是如何做到的。据我所知,在他们的模型中,他们要么必须——放弃协作,总是只有一个开发者进行更改。——通过其他方式共享代码。——将未完成的工作检入主干以进行协作,并不断破坏主干。[1] [VIDEO] [2] [LINK] — weinzierl, 2019-01
相关视频
- 谷歌自动驾驶汽车项目 | SXSW Interactive 2016 · SXSW · 52:21
- Nest Protect 是一款糟糕且充满缺陷的产品 · Brad Fitzpatrick · 5:57
- RailsConf 2014 - Sandi Metz 谈所有的小细节 · Confreaks · 38:47
- “简单造就易用” - Rich Hickey (2011) · Strange Loop Conference · 1:01:38
- Richard Feldman 谈“让不可能的状态不可能” · elm-conf · 25:06
- “用确定性模拟测试分布式系统” by Will Wilson · Strange Loop Conference · 40:20
- 🚀 TDD,哪里出错了(Ian Cooper) · DevTernity Conference · 1:03:55
- Bret Victor - 在原则中发明 · Rui Oliveira · 54:20
- 如何设计好的 API 以及为什么它很重要 · Google TechTalks · 1:00:19
- Rich Hickey 谈价值的价值 · InfoQ · 31:43
- 《守望先锋》游戏架构与网络代码 · GDC Festival of Gaming · 1:04:03
- 用 Clojure 的方式解决问题 - Rafal Dittwald · Clojure/north · 1:02:26
- 第一讲A:Lisp概述与简介 · MIT OpenCourseWare · 1:12:55
- 火线调试:系统失控时保持冷静 • Bryan Cantrill • GOTO 2017 · GOTO Conferences · 52:34
- Emery Berger 的“性能至关重要” · Strange Loop Conference · 42:15
- Alan Kay - 正常被认为有害 · powerfuloutlet · 1:07:26