走进谷歌数据中心

Inside a Google data center

频道:Google Workspace · 时长:5:28 · 发布:2014-12-17 · 播放:22560004

在 YouTube 观看

简介

谷歌数据中心运营副总裁乔·卡瓦简短参观谷歌数据中心。他介绍了安全、可持续性和核心基础设施架构。

HN 为什么推荐

被引用为谷歌如何运营数据中心的纪录片式观察,尽管有时被贬为公关。

分布式系统 · 云、DevOps 与可靠性

中文字幕节选

男声1:数据中心是互联网的大脑。 男声2:互联网的引擎。 女声1:它是一座巨大的建筑,拥有大量电力、 大量冷却设备和大量计算机。 男声3:一排排、一排排、又一排排的机器, 共同协作,提供让谷歌运转的服务。 乔·卡瓦:我热爱建设和运营数据中心。 我是乔·卡瓦,谷歌数据中心副总裁。 我负责管理全球团队,设计、 建设和运营谷歌的数据中心。 我们还负责环境的健康 与安全、可持续发展以及我们数据中心的碳补偿。 这个位于南卡罗来纳州的数据中心, 是全球数据中心大网络中的一个节点。 在谷歌所有员工中,只有极少数 员工被授权进入数据中心园区。 那些运营这些数据中心 并让它们全天候24小时、每周7天不间断运行的男男女女, 他们对自己所做的事情充满热情。 男声2:用通俗的话说,我在这里做什么? 女声1:我通常称自己为牧猫人。 男声4:我是一名工程师。 男声3:硬件现场运营经理。 男声2:我们保持灯火通明。 男声1:而且我们乐在其中。 乔·卡瓦:他们工作非常努力, 所以我们喜欢为他们提供一个有趣的环境,让他们也能 尽情玩乐。女声2:我们刚刚突破了300万工时 零损失工时事故的里程碑。 300万工时是非常长的时间, 以我们现场的人数来看,这是一项了不起的成就。 乔·卡瓦:我认为谷歌的数据中心确实 能够提供几乎其他公司无法匹敌的安全级别。 我们有一支真正无与伦比的信息安全团队。 有句话叫“他们为此写了书”。 嗯,我们信息安全团队的许多成员确实撰写了 关于信息安全最佳实践的书籍。 保护我们用户信息的安全和隐私 是我们首要的设计标准。 我们使用多层更高级别的安全措施, 越靠近园区中心,安全级别越高。 所以,仅仅进入这个园区,我的工牌就必须在预先授权的访问名单上。 然后,进入大楼,那是另一个安全级别。 要进入通往数据中心的安全走廊, 那是更高级别的安全措施。 而数据中心和网络机房拥有最高级别的安全措施。 我们使用的技术也各不相同。 比如,在我们最高级别的区域, 我们甚至使用激光束进行地板下的入侵检测。 现在,我将演示进入安全走廊。 第一,我的工牌必须在授权名单上。 第二,我使用生物识别虹膜扫描仪来验证确实是我本人。 好,我们现在来到了数据中心机房。 我注意到的第一件事是这里有点暖和。 大约80华氏度。 谷歌的数据中心运行温度比大多数公司高,因为这有助于提高效率。 你会注意到我们采用架空电力分配。 从外面的场地引入高压电力, 通过母线槽分配到所有定制的母线 分接箱,这些基本上就是插头,我们在这里插入所有延长线。 我们所有的机架看起来并不像传统的服务器机架。 这些都是为谷歌定制设计和制造的,以便我们能够优化服务器 以实现超高效能和高性能计算。 确实,有时硬盘会出现故障,我们必须更换或升级它们, 因为可能它们运行起来不再高效。 我们有一套非常完善的端到端监管链流程来管理这些硬盘, 从它们从服务器上被取下的那一刻起,

HN 上的讨论

50个SRE听起来像是可以维持Borg运行。除了2015年的一篇研究论文[1]之外,关于Borg的构成并没有太多细节。仅就你列出的部分而言。1. 保持Borg运行 运行需要什么?有很多小团队通过监控、部署、网络、下线等生命周期管理着数百台服务器和虚拟机。这似乎与云计算、商品硬件和可按需部署的抽象计算资源的宗旨相悖。更不用说冗余站点、可用区、<在此插入你的云提供商的高可用性(HA)功能名称>。这是SRE维护的部分吗?2. 机器维护 从纪录片[2]和其他类似的数据中心运营来看,这似乎是由现场数据中心人员处理的。磁盘更换、物理更换、网络布线等。在没有任何其他运营信息的情况下,我怀疑资源会专门用于Borg,因为这有点像是整体技术人员的现场工作。至于操作系统和软件更新,同样在没有任何其他信息或见解的情况下,似乎在通过测试后就会相当自动化,或者至少交给另一个只处理更新的团队。3. 机器采购 同样是商… — ZeroSolstice, 2023-11
我很感激这些例子,但无论组织规模大小,这些事项都不困难。这些是标准的系统和网络管理事项或现场技术员的工作。除非你有关于Borg架构的其他数据可以展示,否则论文[1]的整个前提就是它只运行作业,并让开发者无需了解底层硬件或操作系统。从我引用的论文来看,它是一个巨大的集群,如果是他们自己的软件,我相信以谷歌的开发经验,他们已经考虑到了集群节点丢失的情况。丢失任意数量的集群节点,与进行软件或硬件升级时使节点离线是相同的情况。我非常怀疑有人会手动为集群中的节点启动升级作业。也许是通过A/B部署或先进行一周的预热,然后通过流水线工作流全面推出。我更倾向于认为他们的Borg实现可能经常运行在不同的次要版本上。谷歌运营自己的数据中心,这就是我引用的视频纪录片[2]。对于机器采购,我不认为这是SRE的任务。如果他们制造定制板卡和系统,他们将有一个完整的团队支持。在谷歌的规模下,我认为他们不会遇到供应商问… — ZeroSolstice, 2023-11
以下是我从更宏观角度对原因的解释,以一系列连续的反对观点来表达:1. 起初我觉得奇怪,[LINK](“Cloudflare代理正在转储未初始化内存”)似乎从未成为主流新闻,而Heartbleed却成了。这里面有一些尴尬的阴谋论论点,但我最终意识到,归根结底人们也会犯错,而且虽然Heartbleed可以说非常符合公共利益,因为各地个人都需要采取行动来保持其系统(可以说)安全,但建一个网站、起个傻名字来突出某一家公司错误的安全影响,就是……调性不对,而且把主流新闻报道看作有些类似的干扰和无益,似乎也不算太牵强。2. 大约几年前,这里讨论过某人发现的一个随机分析测试门户,当从蜂窝设备的IP登录(用“demo”/“password”或类似凭据)时,如果该设备签约了某家特定的美国电信运营商,就会泄露账户所有者的姓名/地址/SSN后四位(或者可能是全部,不确定)/等等。这在当时引起了不小的轰动;从未… — exikyut, 2021-07
> 事实上,如果他们没在通信内容方面给自己授予一些特殊能力,我反而会感到惊讶。他们大肆宣传端到端加密,诱使许多人信任该产品,有时甚至深信不疑,同时却让自己垄断了对被终端用户视为安全的通信的访问权。这让我想起谷歌的这篇公关吹捧文[1],大谈他们的数据中心多么安全、员工访问权限多么有限、信息安全团队多么出色、地板下的激光能探测入侵者等等,却完全无视房间里的大象,即NSA的后门——谷歌被迫配合,而且配合时还不能公开披露。[1] [VIDEO] — patrickk, 2017-01
我想你想错了。你觉得这个视频里的这种硬件技术是在做什么?[VIDEO] 推车的人可以完美扩展。一个人可以管理1000台机器。两个人可以管理2000台。完美的扩展。 — jeffbee, 2021-12

相关视频