西雅图可扩展性会议:YouTube 的可扩展性

Seattle Conference on Scalability: YouTube Scalability

频道:Google TechTalks · 时长:52:40 · 发布:2007-10-09 · 播放:30186

在 YouTube 观看

简介

YouTube 的 Cuong Do 描述了少数工程师如何扩展网站,涵盖了快速增长期间的硬件、软件和数据库可扩展性挑战。该演讲是在2007年西雅图可扩展性会议上发表的。

HN 为什么推荐

HN 推荐它作为对现实世界系统设计的丰富、具体的了解,并作为 YouTube 早期 Python 技术栈的证据。

非常好的演讲,有很多亮点。 — HN, 2011

数据库与存储 · 分布式系统 · 科技公司故事与纪录片

中文字幕节选

大家好,Quang Do今天下午从YouTube过来,给我们讲讲他们是如何 在人气飙升的情况下迅速扩展那个组织的。 在成立的头几年里,他们人很少,却构建了 一个极具扩展性的系统,我想听听这有多棒会很有趣。好的, 那么,再次介绍一下,我叫Cuong Do,我是最初工程团队的一员, 见证了YouTube从起步到现在的规模。下面是我们将要讨论的内容,我会 回顾一下历史,基本上就是我们走过的路, 花了多长时间走到今天,然后我会深入讲解系统各个部分 在扩展性方面的演变,系统的主要部分。所以我想在 今天的会议中,你们可能已经多次看到这种图表了,所以在这个 演讲的背景下,我想它可能意味着几件事。嗯,谷歌有 很棒的自由食物,所以是的,牛仔裤有点紧了,我希望这是 2007年谷歌的股价,或者实际上 是youtube.com自成立以来每日的视频观看量。 它的成立是在两年多以前。这里有一个快速的时间线,只是 给大家一个参考框架。我们成立于2005年2月, 在2005年10月左右获得了融资,由于各种原因, 我只能分享几个数字,但在2006年3月,我们实际上达到了 每天服务3000万个视频的里程碑,而在2006年7月,仅仅 四个月后,我们增长了两倍多,平均每天服务1亿 个视频。所以你们可以推断一些数字,我的意思是 从那以后我们肯定增长得非常快,而且我们继续快速增长。 显然,2006年11月我们被谷歌收购了。所以让你们了解一下 团队有多小,我们基本上有两个系统管理员,差不多两个 软件架构师处理扩展性问题,我们有两个功能开发人员 做用户看到的一切,我们有两个网络工程师,嗯,构建一个 每秒数十千兆比特的网络,还有一个DBA,而且 我们还没被谷歌收购,所以还没有厨师。这里有一个快速的 小算法,是我为了应对快速增长而想出来的。 所以你识别并修复瓶颈,你喝酒,你 庆祝,你睡觉,然后你继续这个过程,这真的 是我们的一般模式。我的意思是,我们倾向于进行非常非常快的循环, 有时我们进行这些循环,我们在一天之内完成所有这些步骤, 有时甚至不到一天,所以有时我们睡眠不足。如果你 认为我在开玩笑关于喝酒或睡觉的部分,嗯, 不,所以是的,好的。我要谈论的第一个领域是我们的Web 服务器。这是基本的设置,我省略了关于 多少机器等细节,因为我想解释请求的 整体流程。首先,请求打到NetScaler,它们是负载均衡器, 实际上是非常好的负载均衡器,做很多事情,它们标记机器 下线或上线,并且为我们缓存一些静态内容,这很好,因为 Apache不太擅长处理大量静态内容的请求, 它们还做其他一些事情,比如到Apache的连接池。然后请求 打到位于这些NetScaler后面的众多Web服务器之一,这些Web 服务器在前端运行Apache,因为Apache经过了充分测试, 有一个庞大的社区,我们知道它如何工作,而且Apache运行mod_fastcgi,

HN 上的讨论

嗨,我认为如果没有和资深人士一起参与大型项目,这很难。我为此挣扎了多年,现在仍然如此,但多亏了资深开发人员的指导,我已经有所进步。我认为除了读书、听讲座或在线听演讲之外,你需要找到一个足够大的问题,并从零开始构建它。我和资深人士的合作表明,在纸上和白板上进行设计对于理解问题并最终构建它至关重要。在进行这个练习的过程中,如果需要模式,模式会自己显现出来,我认为这绝对不是一夜之间能学会的,而是要通过不断实践逐渐积累。如果你还没有访问过这个网站infoq.com,请一定要去看看。上面有很多专家演讲。我已经能够将在这里学到的一些东西应用到工作中。关于YouTube是如何构建的快速链接:[VIDEO] 非常棒的演讲,有很多干货。另一本对你有用的书:[LINK] 希望这能帮到你。 — rosariom, 2011-01
这里有一个更好的同主题视频:[VIDEO] 令人惊叹的是,在谷歌收购之前,团队规模如此之小:2名系统管理员,2名可扩展性软件架构师,2名功能开发人员,2名网络工程师,1名数据库管理员。 — wave, 2008-07
我一直以来认为它使用Python的主要参考是2007年的这个视频,那是在他们被收购后不久。[VIDEO] — tbatterii, 2013-04

相关视频