Netflix 以 800Gb/s 提供服务所用的 FreeBSD 优化 - Drew Gallatin - EuroBSDcon 2022
FreeBSD optimizations used by Netflix serving at 800Gb/s - Drew Gallatin - EuroBSDcon 2022
频道:EuroBSDCon · 时长:44:04 · 发布:2022-10-27 · 播放:27848
简介
Netflix 工程师 Drew Gallatin 在 EuroBSDcon 2022 的演讲量化了较旧的 FreeBSD 优化,这些优化让 Netflix 以 800Gb/s 提供 Web 流量,包括 TSO、LRO、VM 页面缓存区、异步 sendfile 和未映射 mbuf。
HN 为什么推荐
HN 指向它作为 Netflix 800Gb/s 幻灯片背后的录制演讲,并深入了解高吞吐量的内核级优化。
这可能比你感兴趣的层次低一点,因为它涉及提高比特吞吐率的内核优化 — HN, 2023
软件性能与优化 · 操作系统与内核 · 网络与互联网基础设施
中文字幕节选
我是Drew Gallatin,我在Netflix为我们的CDN服务器做FreeBSD性能工作, 通常这类演讲讲的是如何让事情变得更好,但今天我要 讲的基本上是当禁用某些优化时会出现什么问题, 也就是我如何把事情变得更糟。先给大家一点 背景,标题里有800 G,我们会讲到800 G,我们 在去年秋天,也就是上一届ESD con之后不久达到了800 G, 这促使我回过头去看看我们和FreeBSD社区 多年来所做的各种优化对我们帮助有多大,所以我想 强调FreeBSD社区,因为我今天讲的大部分内容 并不是在Netflix做的,大部分是由社区里那些 了不起的人完成的,其中一些人就在这次会议上。 另一件你会注意到的事是,你和混乱之间往往 只差一个优化。先介绍一下我们在CDN服务器上 做什么:我们运行FreeBSD current,运行nginx web服务器, 我们有着世界上最轻松的工作,因为我们只是通过sendfile提供静态文件。这是 本次演讲大部分时间要讨论的硬件, 最后会讲到800 G的部分,但滥用一台400 G的机器 要容易得多,如果我搞崩了什么东西,影响范围也小得多,所以 我大部分实验都是在400 G机器上做的,那是一台 较老的基于Rome的AMD,有足够的网络和内存带宽。 于是我想出了一个指标来比较这些不同的 优化,我称之为每CPU每秒吉比特 指标,这样我们就能比较优化,比如 最大带宽远低于可能值的情况。第一件我要 讲的,我会从最佳配置开始,然后 不断把事情变得更糟。第一件我要讲的是, 这是我们实际运行的方式,我们运行的是nginx内核TLS配合sendfile, 所有优化都启用,我们在约53% CPU下达到约375 G, 用我的新指标可以称之为7.1,随着我逐一介绍这些优化, 我会稍微讲讲性能以及为什么性能很差,展示 火焰图。这是一张火焰图,要从中 得到的结论是,如果你看慢在哪里,如果我能拿到我 卡在口袋里的激光笔的话,你真正要找的是 你能看到这些平台,基本上到处都有平台,有平台的地方就是花时间的地方, 也就是优化某个东西的机会,你会看到这里没有 很多巨大的平台,这就是我们在 最优配置下的样子。首先我要讲sendfile和内核TLS, 这是我最喜欢的一张图,这张图描绘的是 数据流路径,在这个情况下,如果我们不使用 sendfile和内核TLS,数据流路径是这样的:要服务400 G,基本上我们必须每秒 从存储读取50 GB,也就是每秒400 G比特,然后需要 把它从内核读出来,你知道,用拷贝的话,它被读 并写入用户空间,然后在用户空间里被读和写来加密, 然后要放回内核又得再读和写一次,然后 nginx把它发出去,所以这意味着我们基本上需要,你知道,一、二、三、四、 五、六、七、八次这样的每秒50 GB,或者说每秒400 GB,如果你 回看几页幻灯片,就像我说的,这台机器的内存带宽大约是
HN 上的讨论
楼主提到“我很想变成一只小老鼠,窥探 YouTube 的完整架构,看看我们离他们有多远。”你偶尔可以找到来自另一个流媒体视频参与者(你可能听说过)的帖子——通常在这里链接——讨论技术架构。例如,这可能比你感兴趣的层次稍低一些,因为它涉及内核优化以提高比特吞吐率,但我喜欢这类东西 - [VIDEO] — thomasjudge, 2023-10
这个演讲是在今年的维也纳 EuroBSDcon 上做的,录像已在 YouTube 上发布。[LINK] [VIDEO] 今年来自所有 *BSD 的一些非常棒的演讲,强烈推荐看看:[LINK] — notaplumber1, 2022-11
Netflix 从 18:20 开始讨论他们的理由:[LINK] 太长不看:性能、开发效率、社区、FreeBSD 是一个完整的操作系统、代码库更小、ports 系统以及许可证。这个视频涵盖了 Netflix 对 FreeBSD 所做的优化:[VIDEO] 也可能是一个原因:根据 drewg123 的说法,Linux 的 kTLS 是坏的。我看到 drewg123 也在这个帖子中评论。他是第一个视频中提到的“我团队中的 Drew”吗?他是第二个视频中的演讲者吗?我不知道 [LINK] — craftkiller, 2025-07
> 以太网卡在 1500 字节帧上,结果也限制了 TCP。在 100G 或 400G 网络上这简直是疯了,即使在 10G 上也已经有点勉强了。对于大多数人来说,1500 对终端节点的限制有多大?对于接入层、分布层和核心层交换机,ASIC 以线速处理,所以帧大小有关系吗?我能看到一些服务器应用,但我们已经有多年的卸载了:* [LINK] Netflix 正在达到(加密的)800 Gb/s:* [VIDEO] * [LINK] > TCP 也停留得太久了。如今几乎没有什么想要流,大量应用在它之上重新发明数据报。与中间盒(例如 (CPE) 防火墙)的供应商谈谈:我们已经有了(比如)SCTP 和 DCCP 二十年了,它们提供了变体,但它们从未被允许通过。由于僵化,任何新的第 4 层都无法真正被允许通过,所以我们只能把一切都拼凑到 TCP/UDP 端口 80/443 上。NAT 和缺乏端到端也无济… — throw0101c, 2023-06
> 你是如何生成那些火焰图的,还用了哪些其他工具来测量性能?我们有一个内部 shell 脚本,它接收 hwpmc 输出并根据堆栈生成火焰图。它也能与 dtrace 配合使用。我是 dtrace 的超级粉丝。我还大量使用 lockstat、AMD uProf 和 Intel Vtune。> 图表是否显示了 aio 队列上的瓶颈争用?图表是否显示了“大量时间花在访问内存上”?请查看演示文稿第 32 页左右的图表。它显示了从 aio 代码中调用的 lock_delay 的巨大平台。从 lockstat 堆栈中也很明显(运行 lockstat -x aggsize=4m -s 10 sleep 10 > results.txt)。请查看第 38 页左右的图表。这些平台主要是内存复制函数(memcpy、copyin、copyout)。我们已经在 CDN 上使用 FreeBSD,所以在 FreeBS… — drewg123, 2022-11
相关视频
- Zebras All the Way Down - Bryan Cantrill, Uptime 2017 · Code & Supply · 46:36
- Python如何被泄漏的内部机制塑造,Armin Ronacher,Flask框架 · Видео с мероприятий {speach! · 49:55
- systemd 的悲剧 · linux.conf.au · 47:18
- CppCon 2015:Andrei Alexandrescu “std::allocator...” · CppCon · 1:12:27
- 防止文明崩溃 / Jonathan Blow (Thekla, Inc) · DevGAMM · 1:02:41
- Emery Berger 的“性能至关重要” · Strange Loop Conference · 42:15
- 三千万行代码问题 · Molly Rocket · 1:48:55
- CppCon 2017: Matt Kulukundis “逐步设计一个快速、高效、缓存友好的哈希表” · CppCon · 59:33
- VCF East: Ken Thompson 接受 Brian Kernighan 采访 · Vintage Computer Federation · 1:03:51
- 更难的硬盘:我们不想要也不需要硬盘 · suckerpinch · 36:46
- Erlang Factory 2014 - 那是带 'B' 的 'Billion':在 WhatsApp 扩展到下一个级别 · Erlang Solutions · 49:15
- 古惑狼如何黑掉原版PlayStation | 战争故事 | Ars Technica · Ars Technica · 31:37
- LISA11 - Fork Yeah! illumos 的崛起与发展 · USENIX · 1:04:03
- Gil Tene 的 "如何不测量延迟" · Strange Loop Conference · 42:59
- USENIX ATC '21/OSDI '21联合主题演讲——操作系统是时候重新发现硬件了 · USENIX · 1:06:19
- Refterm讲座第一部分 - 优化哲学 · Molly Rocket · 18:41