在 Google 构建软件系统及经验教训

Building Software Systems At Google and Lessons Learned

频道:Stanford · 时长:1:22:45 · 发布:2011-06-02 · 播放:257383

在 YouTube 观看

简介

Google 的 Jeff Dean 描述了他构建 Google 系统的经验以及其基础设施如何随时间演变。斯坦福演讲涵盖了搜索、扩展临界点以及构建大规模软件的经验教训。

HN 为什么推荐

HN 推荐它作为 Google 系统工程的经典视角,尽管其日期是 2010 年,但基本原理仍然适用。

它来自 2010 年,但基本原理可能没有改变。 — HN, 2020

分布式系统 · 科技公司故事与纪录片

中文字幕节选

[音乐] 斯坦福 大学。好的,能听到我说话吗? 好的。好的。嗯,欢迎来到,我想这是E380课程,但它也被 我们的杰出讲座系列所取代了。 嗯,今天的演讲者是谷歌的杰夫·迪恩。 嗯,你知道,杰夫,你知道,我不想用所有时间来描述他的 所有成就,但我会说他在华盛顿大学获得了学位, 但既然他的导师是这里的毕业生,我们可以称他为 我们机构的孙子,我们确实这样做了。 嗯,他毕业后最初进入了DEC研究实验室,在那里工作了一段时间, 然后做出了明智的举动,在早期跳槽到了谷歌,在那里 他在构建谷歌用来赚钱的许多系统方面发挥了重要作用, 基本上是他们的搜索和语言翻译所有这些事情,并且 在此过程中,他参与了一些非常有影响力的基础设施项目, 包括BigTable、MapReduce和Protocol Buffers,所以嗯,那个介绍, 我会让杰夫向你们描述它们。 谢谢你,Malle。嗯,那么欢迎。 呃,感谢邀请我。 呃,我会尽量大声说话。 嗯,今天的计划是,呃,我要连接我的麦克风。 嗯,我要谈谈谷歌各种不同类型系统的演变。 一个是我们的计算硬件在过去十年左右是如何演变的。 另一个是关于我们的核心网络搜索和呃检索系统是如何 演变的。呃,随着流量和索引大小的增长等等,我们为了扩展这些系统 所做的事情。 我会稍微谈谈我们构建的一些基础设施软件,这些软件 也支撑着许多谷歌产品。 呃,然后呃,演讲的最后一点,我要谈谈呃 我们开发的一些技术,用于构建高性能和 可靠的系统,这些系统在构建一些 这些系统以及一些似乎广泛适用的通用模式 适用于多种类型的系统。呃,这是与谷歌众多人员的合作成果。 嗯,我参与了我所描述的所有系统,但涉及了非常非常多的人 我一直感激我的同事们。 嗯,所以当我在1999年开始在谷歌从事网络搜索工作时 呃,这些是一些指标,我认为你可以用来评估检索系统的不同 维度。 一个是你在索引多少文档,这个规模从1999年至今增长了大约 一千倍。 呃,第二个重要的维度是你每天需要处理多少查询 这也增长了一千倍。 我有个快速实验。 你们中有多少人1999年经常使用谷歌? 是的,这可能是个有偏见的观众,那2002年呢? 那现在呢?好的。是的。 嗯,我们的流量确实增长了,但我没看到比之前多出一千只手。 呃,另一个重要且相当关键的事情 是,为了提高排名质量,你通常希望保留额外的信息 关于索引中每个文档的信息,并利用它来驱动更 复杂的排名算法。 而我们今天在索引中保留的信息量大约是当时的 三倍,每个文档而言。 呃,我在做这张幻灯片时,有一件事挺令人惊讶的, 那就是增长最多或改进最大的指标实际上是我们的 更新延迟。1999年,我们基本上每月更新一次索引,如果 运气好的话,如果出了什么可怕的问题,就每几个月一次。 而现在,我们有些部分的索引可以在几秒钟内更新, 从抓取页面算起。所以这是一个相当显著的改进。 呃,对用户来说另一个重要因素是你多快能得到响应?

HN 上的讨论

除了 Linus 的 git 演讲,我还非常喜欢 Jeff Dean 在 EE380 上关于《Building Systems at Google》的回顾([VIDEO])。很多人在别处提到过 Jeff 的基本前提(“按当前需求的 10 倍来设计系统,但不要 100 倍,在那之前重写它”),但这个演讲给出了几个出现临界点的有用例子(至少是在搜索方面)。 — boulos, 2016-10
可能是这个:[LINK] 或者这个:[VIDEO](音质很差)。两者都很老,但极其经久不衰。在我看来,谷歌搜索背后的秘密不是算法的智能,而是有多少东西被烘焙在那些O(100ms)里,这是谷歌机器回答你查询所需的时间。这就是为什么上面的链接是谷歌搜索表现良好的真正原因。自然语言处理和信息检索的最先进水平远远超出了谷歌/必应/雅虎/Yandex/百度所采用的。但是,以体面用户体验所需的QPS和延迟来提供服务,成本太高了。 — mrazomor, 2022-08
有一场 Jeff Dean 关于这个的讲座:[VIDEO] 是 2010 年的,但基本原理可能没变。 — ma2rten, 2020-09
也推荐 Jeff Dean 的技术演讲《Building Software Systems At Google and Lessons Learned》,其中提到了那些延迟数字。幻灯片:[LINK] 视频:[VIDEO] 另外,之前关于延迟数字的讨论帖:[LINK] — kqr2, 2012-12
Google 以每年发布大量材料而闻名。你可能感兴趣的两份相关出版物:1. 《The Datacenter as a computer》: [LINK] 2. 《The SRE book》: [LINK] 几个过时的演讲:1. Jeff Dean 在斯坦福关于在 Google 构建软件系统的演讲(2010):[VIDEO] 2. James Hamilton 关于 Jeff Dean 2008 年 Google 数据中心演讲的笔记:[LINK] —— 微软研究院也基本上在做前沿技术,并定期发布一些研究成果。这里有个起点,可以帮助感兴趣的人找到相关出版物:[LINK] — ignoramous, 2019-02

相关视频