Drew Gallatin:在 FreeBSD 上以 400Gbps 提供 Netflix 视频
Serving Netflix Video at 400Gbps on FreeBSD by Drew Gallatin
频道:EuroBSDCon · 时长:47:41 · 发布:2021-09-27 · 播放:9503
简介
Netflix 工程师 Drew Gallatin 讲解 Netflix 如何用单台 FreeBSD 服务器以 400Gb/s 提供 TLS 加密视频。他涵盖 NUMA、内核 TLS、硬件 TLS 卸载,以及他们遇到的内存带宽和 PCIe 瓶颈。
HN 为什么推荐
HN 将其引用为 FreeBSD 为大规模极致网络性能调优的典型范例。
被实际用于运行地球上最大的流媒体服务,这让你相当有分量。 — HN, 2022
软件性能与优化 · 操作系统与内核 · 网络与互联网基础设施
中文字幕节选
我叫Drew Gallatin,来自Netflix,我主要关注的是CPU 效率,以及如何用尽可能少的硬件服务尽可能多的客户, 既为了环保,也为了节省成本。所以最近一段时间,我一直在尝试突破极限, 从单台服务器上提供尽可能多的服务。今天我来这里是想和大家聊聊, 如何在FreeBSD上从单台服务器接近提供400Gb的服务。 所以我会讲一讲我们为什么想这么做, 然后简单介绍一下我们的生产平台, 谈谈我们的工作负载, 再聊一聊我们是否需要NUMA来实现这些目标。 接着会讲一下FreeBSD中的硬件内联TLS,我们称之为kTLS, 如果最后有时间,我还会看看一些替代平台, 除了我大部分时间会讲的生产平台之外。 好的,自2020年以来,我们一直在部署一些服务器, 这些服务器能够提供200Gb的TLS加密视频服务。 这非常酷。但问题是,这些 服务器实际上有四个100Gb的网络端口,我们一直想, 如果能全部启用,从这些机器上提供400Gb的服务,而不是两个,那该多好。 那么让我们来看看我们的工作负载。 我们运行FreeBSD current,通常只落后几周, 不算太远。我们运行nginx web服务器,几乎完全通过sendfile来提供视频, 这意味着我们非常喜欢内核TLS,因为 数据在内核中作为sendfile管道的一部分被加密, 这意味着我们不需要额外的边界跨越,比如数据从磁盘读取, 在用户空间加密,然后再写回内核, 没有这些绕路。仅软件内核TLS本身就为我们节省了大约 60%的CPU。我一直提到的生产平台 是AMD EPYC 7502P,也就是Rome,它有32个核心,主频2.5GHz, 更重要的是它有八通道DDR4 3200内存, 这足以提供每秒150GB的内存带宽。 在接下来的演讲中,我会谈到网络相关的内容, 千兆位,而存储和内存带宽通常以千兆字节为单位 我会尽量记住来回转换这个八倍的系数,如果我 忘了,我道歉,但我只是试着在这里做两件事,并提到 那大约是1.2太比特的带宽,就内存带宽而言,我们 有充足的IO,我们基本上有128条PCIe Gen 4通道,这在网络单位中大约是2太比特,所以 所有这些听起来都不错,就像我之前提到的,我们有两个Mellanox ConnectX-6 DX网卡,它们以Gen 4 x16连接,并且每个都有两个全速端口 所以那就是四个100G端口,因此我们的动机是想要使用所有四个 端口,我们有一大堆NVMe驱动器,这些机器在规格上 远远早于我们找到全速Gen 4驱动器的时候,所以我们只有 很多Gen 3驱动器,所以我们在该平台上的初始性能结果大约是 每秒240千兆位,这是使用软件内核TLS,我们主要 受限于内存带宽,我知道这一点不是靠神秘的方法 基本上AMD给了我们工具,我想你可以自己获取这个工具 如果你谷歌搜索AMD uProf PCM,它读取系统计数器,并
HN 上的讨论
你的评论暗示 FreeBSD 已是明日黄花,由于 WiFi 支持不佳,不再能胜任“高质量网络”。我只能同意 WiFi 支持不佳这一点。但 WiFi 绝不是评判专为服务器设计的网络栈的标准。FreeBSD 从来就不是为消费级硬件网络设计的。曾有过几个“桌面发行版”,但或多或少都已消亡,而少数基于 FreeBSD 的“存储发行版”在 FreeBSD 更换 ZFS 上游后也转向了 Linux。我这么说,是因为多年来我费了很大力气在笔记本上使用 FreeBSD,目前也在 ThinkPad 上使用 15.0-CURRENT。但 FreeBSD 过去是、现在也仍是高带宽有线网络的首选。Netflix 既是早期采用者,也是 FreeBSD 网络代码库的积极贡献者。他们魔改 FreeBSD[0],一次又一次实现惊人的数字[1][2]。你提到的 Intel 设备——AX200——在我的 ThinkPad … — voytec, 2024-09
11 个月前对同一演示的讨论,当时标题是 400GB/s。[LINK] 这是当时与幻灯片一起发布的视频:[VIDEO] — qwertox, 2022-08
我想说,被积极用于运行地球上最大的流媒体服务让你相当相关。[VIDEO] — breakfastduck, 2022-02
这是我两年前的 EuroBSDcon 演讲。更近的一次(关于达到 400G)现在在 [VIDEO] — drewg123, 2021-10
相关视频
- Python如何被泄漏的内部机制塑造,Armin Ronacher,Flask框架 · Видео с мероприятий {speach! · 49:55
- systemd 的悲剧 · linux.conf.au · 47:18
- CppCon 2015:Andrei Alexandrescu “std::allocator...” · CppCon · 1:12:27
- 防止文明崩溃 / Jonathan Blow (Thekla, Inc) · DevGAMM · 1:02:41
- Emery Berger 的“性能至关重要” · Strange Loop Conference · 42:15
- 三千万行代码问题 · Molly Rocket · 1:48:55
- CppCon 2017: Matt Kulukundis “逐步设计一个快速、高效、缓存友好的哈希表” · CppCon · 59:33
- VCF East: Ken Thompson 接受 Brian Kernighan 采访 · Vintage Computer Federation · 1:03:51
- 更难的硬盘:我们不想要也不需要硬盘 · suckerpinch · 36:46
- Erlang Factory 2014 - 那是带 'B' 的 'Billion':在 WhatsApp 扩展到下一个级别 · Erlang Solutions · 49:15
- 古惑狼如何黑掉原版PlayStation | 战争故事 | Ars Technica · Ars Technica · 31:37
- LISA11 - Fork Yeah! illumos 的崛起与发展 · USENIX · 1:04:03
- Gil Tene 的 "如何不测量延迟" · Strange Loop Conference · 42:59
- USENIX ATC '21/OSDI '21联合主题演讲——操作系统是时候重新发现硬件了 · USENIX · 1:06:19
- Refterm讲座第一部分 - 优化哲学 · Molly Rocket · 18:41
- CppCon 2014: Mike Acton “面向数据的设计与C++” · CppCon · 1:27:46