纽约科技讲座系列:谷歌如何备份互联网
NYC Tech Talk Series: How Google Backs Up the Internet
频道:Google TechTalks · 时长:1:14:18 · 发布:2014-01-31 · 播放:40807
简介
Raymond Blum 的谷歌科技讲座,讲述谷歌如何备份 Gmail 和 Picasa 等海量数据。内容涵盖扩展挑战、故障类型以及不奏效的方法,包括磁带。
HN 为什么推荐
在备份和数据丢失讨论中被引用,作为谷歌备份实践的罕见内部视角,包括其对磁带的使用。
备份是你为恢复这一奢侈功能所付出的税 — HN, 2019
数据库与存储 · 分布式系统 · 云、DevOps 与可靠性
中文字幕节选
雷蒙德·布鲁姆:大家好。 我是雷蒙德。我不是电视上的雷蒙德·布鲁姆, 你们可能记得他在《生命的事实》中的角色。 我是另一个雷蒙德·布鲁姆。 私人笑话。我在谷歌的站点可靠性团队工作, 负责技术基础设施存储。 我们在这里基本上是为了确保事情,嗯, 我们不能说事情不会出问题。 而是我们能从中恢复。 因为,当然,我们都知道事情会出问题。 具体来说,我们负责确保 当你点击发送时,邮件会留在你的已发送邮件中。 当你收到邮件时,除非你说它应该消失,否则它不会消失。 当你在Drive中保存东西时,它真的在那里,如我们所希望和期望的永远存在。 我将谈谈我们为实现这一点所做的一些事情。 因为宇宙、墨菲和熵都告诉我们那是不可能的。 所以这是一场持续不断的战斗,以确保东西真的能留存下来。 我会让你们读一下简历。 我不会过多谈论那个。 在谷歌之外可能有效的常见备份策略 在这里真的行不通,因为它们通常随着容量和需求而扩展努力。 所以如果你想备份两倍的数据,你需要两倍的东西来做。 东西是时间、能量、空间、媒体等的产物。 所以当你从1TB到2TB时,这可能很好用。 但当你从1EB到2EB时就不行了。 我将谈谈我们尝试过的一些事情。 其中一些失败了。 你知道,这就是科学方法的作用,对吧? 然后最终,我们找到有效的方法, 当我们的实验与我们的期望一致时。 我们说,是的,这就是我们要做的。 其他的我们丢弃。 所以我会谈谈我们丢弃的一些东西。 更重要的是,我们学到并实际做的一些事情。 哦,还有一张幻灯片。是的。 巩固云。顺便说一句,我为这个标题付出了很多努力。 好吧,让我先过一下大纲,我想。 我们真的考虑,而且我个人 对此痴迷,是它更重要得多。 你需要一个更高的数据可用性标准 比访问可用性标准。 如果系统宕机一分钟,没关系。 你在浏览器上再次点击提交。 就没事了。你可能还会怪你的ISP。 没什么大不了的。另一方面,如果你的1%数据丢失,那就是灾难。 它不会回来了。所以数据的持久性和完整性是我们的首要任务。 谷歌非常非常认真地对待这一点。 我们有许多工程师致力于此。 真的,每个谷歌工程师都明白这一点。 我们所有的框架,比如Big Table和以前的 GFS,现在叫Colossus,都是为了确保这一点。 有很多系统在运行 来检查和纠正数据可用性或完整性的任何失误。 我们将要谈到的另一件事是冗余, 人们认为这能使东西可恢复, 但我们会看到为什么在几张幻灯片后它并不如此。 另一件事是MapReduce。 既是福也是祸。 福是你现在可以同时在3万台机器上运行作业。 祸是你现在同时在3万台机器上有文件。 而且你知道总会有东西出故障。 所以我们会讨论如何处理这种情况。 我会讲一些我们做过的事情, 让备份资源的扩展 不再是需求的线性函数。 所以如果你有100倍的数据, 备份它不应该需要100倍的努力。 我会讲一些我们做过的事情,
HN 上的讨论
仅供参考...“备份是你为恢复的奢侈付出的税” “谷歌如何备份互联网” [VIDEO] 详细笔记:[LINK] — carapace, 2019-09
他在开头提到的“一个世纪一 PB”问题陈述很有趣:你能保存 1 PB 的数据,并使其在一个世纪后所有比特都正确恢复的概率超过一半吗?他写过一些关于他在 2010 年如何看待耐久性状况的内容:[LINK]。他似乎将问题定义为允许维护,例如讨论了检查和修复操作。稍微拓宽一点,我将其解读为“如果你试图比通常对商业/学术在线存储甚至备份更加谨慎,你会怎么做?而且它会有效吗?”作者在 Queue 文章中的很多(但不是全部)内容都谈到了在线存储的统计数据,这缺少一些如果你完全关注长期耐久性就能获得的优势。在在线系统中,由于性能原因,重度 ECC 似乎不如复制受欢迎,但在应用层额外的 LDPC 或 RS 可以吸收相当大比例的卷问题,或大量随机坏块。(在更近线的上下文中,Backblaze 使用 RS:[LINK])磁带也是如此——离线 LTO 速度慢且驱动器昂贵,但每 TB 成本和额定寿命似乎比 HD… — twotwotwo, 2021-06
我也记得那个演讲。我没有重新观看验证,但如果有人感兴趣,我怀疑是这个:[VIDEO] — stegro32, 2016-11
这应该给那些盲目依赖廉价云来维持运行的人一个警告。这也让我想起离线磁带备份的重要性。谷歌仍在使用磁带[1],然而一些公司已经开始认为他们可以淘汰磁带并将备份转移到云端。[1] [VIDEO] — drieddust, 2016-10
可能偶尔会有 bug,但我不知道 Gmail 真的丢失过邮件的情况。根据这个演讲 [0],那篇文章提到的 bug 导致一些用户的邮件暂时无法访问,但所有邮件最终都恢复了。[0]: [VIDEO] — timothya, 2014-10
相关视频
- Václav Smil 在 2019 年 Driva 气候投资会议上的演讲 · Nysnø Klimainvesteringer · 52:10
- 把农场当作生态系统来经营,Gabe Brown 第一部分:土壤健康的五大原则 · Living Web Farms · 2:31:00
- 谷歌应该转向核能吗?清洁、廉价的核能(不,说真的) · GoogleTalksArchive · 1:32:38
- 指数增长与流行病 · 3Blue1Brown · 8:56
- 数学的未来? · Microsoft Research · 1:14:48
- 《战争游戏》中的那个场景 · Greg Granito · 4:05
- [4k, 60 fps] 旧金山,沿市场街的旅行,1906年4月14日 · Denis Shiryaev · 14:22
- Gwynne Dyer -- 更热世界中的地缘政治 · The University of British Columbia · 1:31:52
- 乱穿马路是犯罪的真正原因(Adam Ruins Everything) · Dropout · 3:24
- 斯坦福研讨会——串接式编程:从象牙塔到金属 · Stanford Online · 1:04:44
- William Byrd 谈“有史以来最美丽的程序” [PWL NYC] · PapersWeLove · 1:31:05
- Michael Levin:细胞集体的解剖决策 · Thomas Ouldridge · 1:18:06
- 印度水革命 #1:用 Paani 基金会在 45 天内解决危机 · Andrew Millison · 9:02
- 函数式领域建模 - Scott Wlaschin · NDC Conferences · 51:39
- Erlang和Elixir的灵魂 • Sasa Juric • GOTO 2019 · GOTO Conferences · 42:02
- “用确定性模拟测试分布式系统” by Will Wilson · Strange Loop Conference · 40:20