Netdev 0x16 - 主题演讲:是时候在数据中心替换TCP了
Netdev 0x16 - Keynote: It's Time to Replace TCP in the Datacenter
频道:netdevconf · 时长:1:19:06 · 发布:2022-12-04 · 播放:4888
简介
John Ousterhout在Netdev 0x16的主题演讲中认为,TCP的几乎每个方面都不适合数据中心,从连接和流到可靠交付和拥塞控制。他提出了替换协议的理由。
HN 为什么推荐
推荐为在数据中心替换TCP的全面理由以及Ousterhout的Homa协议。
我在下面链接的Netdev演讲真的很好 — HN, 2023
中文字幕节选
很好,大家都知道计算机科学中最大的未解难题是 把笔记本电脑连接到投影仪,总有一天这个问题会解决,但 显然还没有,还没搞定,我需要一点时间看看能不能弄清楚 怎么操作这个不同的 PowerPoint 演示器,我只是想弄清楚 怎么在屏幕上指点,但好像不管用 Jamal,我想在屏幕上指点的时候,你知不知道怎么把鼠标当指针用 在屏幕上 普通的 PowerPoint 是按住 Control 点击,旁边那个转折是 呃,我想我以为有个下一个,对,也许我可以那样做,或者 键,不不,但我想真正能够,你知道,指着屏幕上的东西 如果你在上面会怎样,好吧,有什么办法能做到吗,呃,对 不幸的是鼠标混合,或者你指这里,我不知道鼠标 是不是开着,你能看到它是全屏吧,只要把鼠标移到屏幕上,对,但 对,我看到了,对,抱歉,大家 好了,鼠标在这边,不对,哪个方向,哪个 把它带到这边,对,有点,嗯,你看到了吗,好吧,没有它我也能活,没关系 好吧,早上好,感谢邀请我来演讲,抱歉刚才 幻灯片出的那些岔子,所以今天上午我想做的是,至少给你们 我个人对数据中心网络未来应该是什么样的看法,而 要达到我认为我们应该达到的目标,将需要 一些相当重大的改变,所以首先,我认为重要的是要认识到 我们今天有令人惊叹的数据中心网络硬件,硬件人员 真的做得非常出色,你知道链路速度正以惊人的速度提升 我们已经达到每秒 100 吉比特,还在往上走,你能达到的往返时间 在硬件上已经降到 5 微秒,也许 10 微秒的范围,而且可能 在未来几年还会更低,还有这些惊人的交换芯片 被开发出来,你知道,让我们能以相对较低的每端口成本获得这种性能 所以硬件真是令人惊叹,问题在于,今天只有一小部分原始 硬件潜力真正传递到了应用,而且 特别是我们希望对小消息获得的性能,延迟和 吞吐量,我们根本达不到网络 硬件所能提供的水平,我是说我们差了一到两个数量级甚至更多,而 问题在于软件网络栈中的开销,所以如果我们想 让应用能用上这种硬件潜力,我们就需要做出一些 相当激进的改变,今天我要谈其中三个,首先也是 最重要的,我们必须找到办法绕过 TCP,引入一种新的传输协议 我不会说这很容易,但真的没有别的办法,我 要论证的是,如果我们想让那种硬件潜力传递出来,所以 我可能会用大部分演讲时间来谈这个,但另外还有两件 事情,我们需要比今天更好的 RPC 框架,然后 最终我们必须把传输从软件中移出去,它真的 真的没道理在当今惊人的网络下还试图用软件 实现传输协议,所以这将涉及迁移到网卡,而 我认为这还需要一种相当激进的新网卡架构才能 做到,所以在接下来的 45 分钟到一小时里,我会试着讲完 所有这些事情,我会把大部分时间花在 TCP 问题上。那么首先 我们希望从网络中得到什么,我会主要关注 性能,除了性能显然还有其他东西,但重点,但 今天我会关注性能,有三件事你希望得到
HN 上的讨论
显然你可以在 TCP 之上构建 RPC 协议,人们已经这样做了几十年。然而,在 TCP 模型上,有些东西很难高效实现(在同一连接上多路复用不同的逻辑流、消息优先级),而有些东西在 TCP 上根本无法实现(例如,你实际上没有任何能力影响拥塞控制场景中发生的事情)。此外,TCP 在现代硬件上还有一些根本性的低效问题。如果你在互联网上运行一个带有 Python 后端的 RPC 服务,这些事情重要吗?几乎肯定不重要。但如果你阅读 John Ousterhout 的论文或观看他的 Netdev 演讲^[1],也很清楚这不是他一直在谈论的用例。他谈论的是数据中心中的 RPC,理论上现代硬件能够以微秒级延迟传递 RPC 消息,但实际上没有基于 TCP 构建的 RPC 系统能接近这一点。我在下面链接的 Netdev 演讲真的很好,John 对他自己的想法以及他实际想要优化的目标做了非常全面的介绍。[1]… — eklitzke, 2023-03
如果你想看 Ousterhoust 解释 Homa 以及他关于取代 TCP 的愿景:[VIDEO] 剧透:Ousterhout 是对的,而且数据表明他是对的。也许不是每个人都知道了,或者这是那种并非每个人都能理解的“对”(我们会在更长时间里满足于“足够好”),但他几乎肯定是对的。当然,这不是要贬低这篇文章的发布者——我总是喜欢好的犀利观点或反主流文章。 — hardwaresofton, 2023-02
如果你想以演讲形式观看 Ousterhout:Netdev 0x16 - 主题演讲:是时候在数据中心替换 TCP 了:[VIDEO] 顺便说一句,Netdev 是一个很棒的会议,我们能在 YouTube 等地方免费看到会议上展示的开创性工作,这太疯狂了。 — hardwaresofton, 2023-02
我认为这里有一些误解(顺便说一句,这个视频很有趣)。我所说的异步 IO 存在于 Apache 和 node 所使用的任何东西的下一层。实际上两者都是事件驱动的。它们都使用某种形式的 epoll(见 [LINK])。从历史上看,缓冲 IO 足以绕过慢线程。仅仅是因为缓冲 IO 操作通常不会阻塞(你只是 memcpy,内核在后台异步刷新)。然而,这只能带你走到一定程度,而今天很明显硬件可以走得更远,而且差距正在扩大。不过,质疑是否真的需要这种额外性能是一个合理的观点。John Ousterhout([VIDEO])目前正在研究一种新的网络协议,以缓解 TCP 在软件性能方面造成的一些问题,他也质疑现实世界应用是否真的需要非常快的网络。在我看来,像 DPDK 这样的东西的存在本身就足以证明。很多人使用它,如果内核能提供相当的性能,他们宁愿使用内核。 — HippoBaro, 2023-10
相关视频
- CRDT 与分布式一致性的探索 · InfoQ · 43:39
- 容器黑客与趣味镜像 · Jessie Frazelle · 38:49
- Rich Harris - 重新思考响应式 · You Gotta Love Frontend · 36:45
- 2015年的JavaScript · Glen Maddern · 10:32
- Cgroups、命名空间及其他:容器由什么构成? · Docker · 54:24
- Golang UK Conf. 2016 - Liz Rice - 容器到底是什么?让我们用 Go 从头写一个 · GopherCon UK · 23:00
- Erlang和Elixir的灵魂 • Sasa Juric • GOTO 2019 · GOTO Conferences · 42:02
- “用确定性模拟测试分布式系统” by Will Wilson · Strange Loop Conference · 40:20
- 更难的硬盘:我们不想要也不需要硬盘 · suckerpinch · 36:46
- Erlang Factory 2014 - 那是带 'B' 的 'Billion':在 WhatsApp 扩展到下一个级别 · Erlang Solutions · 49:15
- Martin Kleppmann 的 "用 Apache Samza 将数据库翻转" · Strange Loop Conference · 47:42
- 系统的语言 - Rich Hickey · ClojureTV · 1:02:49
- 本视频由 ███ VPN 赞助 · Tom Scott · 7:25
- Google I/O 2012 - Go 并发模式 · Google for Developers · 51:27
- 最终一致性的冲突解决 • Martin Kleppmann • GOTO 2016 · GOTO Conferences · 51:35
- “Unison:一种新的分布式编程语言” by Paul Chiusano · Strange Loop Conference · 41:05