为什么Netflix使用NGINX和FreeBSD构建自己的CDN?作者:Gleb Smirnoff
Why did Netflix use NGINX and FreeBSD to build their own CDN? by Gleb Smirnoff
频道:NGINX · 时长:45:41 · 发布:2015-02-26 · 播放:40006
简介
Gleb Smirnoff解释了为什么Netflix在FreeBSD和NGINX上构建自己的CDN,以及Netflix和NGINX公司如何在这款软件上合作。这是一个关于视频传输开源选择的会议演讲。
HN 为什么推荐
在FreeBSD与Linux的辩论中被引用为Netflix选择FreeBSD的原因来源,评论者认为GPL是主要因素。
从这两个来源来看,我会说避免GPL是首要考虑。 — HN, 2020
Linux 与开源生态系统 · 网络与互联网基础设施 · 云、DevOps 与可靠性
中文字幕节选
大家好,我叫Gleb Smirnoff,我在NGINX工作,我们与合作伙伴Netflix紧密 合作,我们共同致力于 他们的Netflix内容分发网络,每天我们都让它比昨天更快、更 高效。该CDN基于开源技术, 首先是FreeBSD操作系统和NGINX Web服务器。呃,我 今天的演讲,今天我想谈谈我们如何构建它、如何运行这个网络,以及 我们如何从使用开源中受益,开源又如何从我们的 使用中受益。呃,我想这里可能 每个人都知道Netflix是什么。呃,以防万一你不知道,它是一个视频 点播流媒体服务,我想给你们展示一些数字,来说明这个服务实际上 有多大。我们有5000万订阅者,这实际上并不是 指5000万人,而是更多,因为一个订阅者通常 是一个家庭。嗯,大多数订阅者在美国,但除了 美国,我们已经在40多个国家运营,这些国家 是快速增长的市场。呃,Netflix的视频库包含 超过1PB的数据,而其中每一个字节都可按需获取,就在 此刻你就能观看。说到美国,我们是 北美第一的流量生成者,我们覆盖了超过三分之一 的所有下行流量。我认为这 很了不起。现在让我们看看这个庞大的流量生成器内部是如何运作的。 这里是Netflix视频流媒体各组件的 基本布局。我们在Amazon云中运行所有复杂的东西,这包括 业务逻辑、数据挖掘、视频编码、录制、调整大小、 加密。实际的视频流传输也是由Amazon启动的, 所以客户端在网站上登录,进行身份验证,然后云 控制其操作。但所有的大块视频数据,即实际构成 我刚才展示给你的那三分之一互联网的数据,是由 内容分发网络提供的。当Netflix开始其即时视频流媒体 服务时,最初我们将内容分发外包给了三大CDN: Level 3、Akamai和Limelight。 但随着在线视频服务越来越受欢迎,流量 也迅速增长,速度超过了CDN自身能够建设的速度, 很快我们就清楚,通过互联网进行视频分发 是Netflix的主要业务,我们不再是一家 寄送DVD的公司,我们是视频流媒体公司,如果这是 主要业务,我们或许不应该外包它,实际上有 很多原因,第一个原因我已经提到,就是我们需要 更快地增长,而CDN跟不上这个步伐,当然 外包这么大的流量非常昂贵,而运营我们自己的CDN 可以降低成本。除了这两个显而易见的原因,还有 其他原因促使我们构建自己的CDN。首先,这关乎对 视频流的控制,视频流可以简化为三个 组件:用户的视频播放器,它连接到Web服务器, 这是第一个;Web服务器本身,这是第二个;以及它们之间的互联网。我们想要 控制所有这些,但至少我们想控制这个链条的 两端:客户端和服务器。我们已经控制了客户端,因为 所有播放器都是在Netflix内部开发的,而且在这个 链条中——客户端、互联网、服务器——有很多事情会 出错,视频流对丢包、往返时间、延迟 以及各种互联网异常非常敏感。如果播放器
HN 上的讨论
>我忍不住有点难过,这样的贡献只会让少数使用 FreeBSD 的人受益 反过来也一样,问题是 Linux 可以实现它,甚至可以采用这些代码,反过来则相当困难……自由也不过如此。而且不确定你说的“少数”人是什么意思,是少数 PlayStation 3/4/5 用户?Juniper?OpnSense/Pfsense 安装?还是少数 Truenas/Freenas 用户?>或者别的什么不够?[VIDEO] — nix23, 2021-02
这个演讲也没有任何迹象表明选择 FreeBSD 是因为它比 Linux 性能更好:[VIDEO] 看来 GPL 已经把 Linux 排除在外了。 — jaekash, 2020-07
这两件事都表明他们选择 FreeBSD 有许多其他原因,而且都没有表明 FreeBSD 比 Linux 更快:- [LINK] - [VIDEO] 看来 GPL 对他们来说是个问题。编辑:另一个来源表明,避免 GPL 是选择 FreeBSD 而非 Linux 的主要原因:[LINK] - 而且演讲者也说,他们在 Linux 和 FreeBSD 之间所做的性能比较并不完全公平,因为他们没有在 Linux 上做他们在 FreeBSD 上做的所有工程工作。 — jaekash, 2020-07
> 来自 Juniper、Netflix 等的大量演讲、论文等都说明了他们为什么做出这些选择,但你的回应只是“也可能是他们不懂如何配置 Linux”,没有任何证据。以下是我能找到的、给出 Netflix 选择某些原因的唯一来源:- [LINK] - [VIDEO] 两者都没有表明在他们的测试中 FreeBSD 比 Linux 更快。从这两个来源来看,我会说避免 GPL 是首要考虑。如果有东西能支持你的说法,就链接出来。如果你不能链接出来,那你到底指望我怎么找到它。又不是我在声称它存在。 — jaekash, 2020-07
嗯,苹果为什么选择 BSD 的答案很简单……许可证和成熟度。但 Netflix 选择它是因为这个:[VIDEO] — nix23, 2020-05
相关视频
- systemd 的悲剧 · linux.conf.au · 47:18
- Velocity NY 2013: Richard Cook, "复杂自适应系统中的韧性" · O'Reilly · 19:09
- 火线调试:系统失控时保持冷静 • Bryan Cantrill • GOTO 2017 · GOTO Conferences · 52:34
- AWS re:Invent 2018: Amazon DynamoDB 深入探讨:DynamoDB 高级设计模式 (DAT401) · Amazon Web Services · 59:56
- 更难的硬盘:我们不想要也不需要硬盘 · suckerpinch · 36:46
- Wayland 和 X 背后的真实故事 - Daniel Stone (linux.conf.au 2013) · Mladen Mijatov · 45:35
- LISA11 - Fork Yeah! illumos 的崛起与发展 · USENIX · 1:04:03
- 技术演讲:Linus Torvalds 谈 git · Google · 1:10:15
- 本视频由 ███ VPN 赞助 · Tom Scott · 7:25
- Literate Devops with Emacs · Howard Abrams · 28:36
- DebConf 14:与 Linus Torvalds 的问答 · Adnan Hodzic · 1:11:43
- 看待网络的新方式 · Google · 1:21:15
- 网络中立性:约翰·奥利弗的《上周今夜秀》(HBO) · LastWeekTonight · 13:18
- 从 Gtk 到 Qt - 一段奇怪的旅程 [linux.conf.au 2014] · Konstantin Bläsi · 46:05
- 从零开始构建容器 • Liz Rice • GOTO 2018 · GOTO Conferences · 42:53
- 用户级线程....... 与线程。 - Paul Turner - Google · Linux Plumbers Conference · 33:59