为 NVMe 扩展 ZFS - Allan Jude - EuroBSDcon 2022
Scaling ZFS for NVMe - Allan Jude - EuroBSDcon 2022
频道:EuroBSDCon · 时长:46:00 · 发布:2022-10-27 · 播放:13711
简介
Klara 的 Allan Jude 展示了让 ZFS 在快速 NVMe 存储上扩展的工作,包括修复 TaskQueue 接口和消除瓶颈。演讲在 EuroBSDcon 2022 上进行,描述了将写入吞吐量从约 3 GB/秒提升到超过 7 GB/秒。
HN 为什么推荐
在 ZFS 和文件系统讨论中被引用,作为关于 ZFS 限制和 NVMe 调优的首选来源。
详细介绍了我们如何将写入性能从 3 GB/秒提升到超过 7 GB/秒。 — HN, 2023
中文字幕节选
呃,感谢Tom的亲切介绍,呃,大家好,呃,如果你们还不 知道的话,呃,我叫Alan Jude,是Clara的CTO,这是一家FreeBSD 开发和支持公司,所以如果你需要ZFS或FreeBSD方面的帮助,请 联系我们,我们会帮助你,呃,但今天我们要讨论的是,呃, 我们愿意在ZFS中改变什么,以使其更好地扩展,适用于NVMe和 其他类型的非常快速的存储,这些存储不同于ZFS最初设计的 硬盘,所以当我们谈论ZFS是文件系统的未来时, 我们很多人都这样做过,在使用了一段时间后,我几乎无法想象 没有它该怎么生活,但我们也开始意识到ZFS最初是在 2001年构建的,你知道,那时一块硬盘 如果你幸运的话大约是100GB,而15000转的硬盘刚刚 被发明出来,闪存还不是真正的东西,呃,所以ZFS花费了大量 内部代码和精力来优化你的工作负载,以适应硬盘的能力, 对吧,所以最大的事情之一是ZFS,我们将所有这些写入,所有 异步写入批处理成一个大的事务, 在当时,对吧,硬盘最好情况下需要四 毫秒来完成一个与你当前位置不同的位置的操作, 但使用最新的NVMe,你可以在个位数微秒内完成, 这完全超出了ZFS最初设计的能力范围, 现在是注意到这个 打字错误的好时机,所以另一个改变的事情是, 你知道,在像SATA和SAS这样的传统接口中,你基本上 一次只能做一个单一操作,你知道它们有队列,所以你可以排队 一些命令,固件可以对它们进行排序,并尝试决定以什么顺序 执行它们或其他什么,但一般来说,你知道这个磁头只能寻道到硬盘上的一个 位置,我们改天再讨论双执行器硬盘, 嗯,但ZFS花费大量时间试图不向硬盘排队太多工作,因为 如果你有高优先级的任务进来,你不想把它放在 长队列的末尾,那样在到达那个高优先级读取之前的延迟 会非常高,你不想那样,所以ZFS试图不发送太多工作到 磁盘一次,但正如我们将讨论的,使用NVMe,你想发送尽可能多的工作, 因为它总是比你快,呃,我们还 观察到,使用现代硬盘固件时,有时当你排队 一堆命令时,硬盘会优先处理最容易的工作,就像我们中的一个人, 一个总是通过做其他事情来拖延困难任务的人, 呃,这可能导致ZFS scrub等出现巨大延迟,幸运的是Alexander 在这方面做了很多工作,现在ZFS特别是在scrub时不会排队太多 I/O,以免在scrub发生时导致读取出现巨大的四秒延迟, 但再次强调,ZFS所做的只是试图不 发送太多工作到硬盘并使其过载,但现在我们有了闪存, 呃,所以为了从我们拥有的SSD中获得更多性能,我们需要排队更多 命令以避免工作饥饿,即SSD做了一点工作,然后它 无事可做,直到你发送更多工作,所以你的闪存花费了一些 时间空闲,而你在想为什么你不更快,呃,所以 你知道我们必须调整ZFS,以避免一些硬盘优化,如果你有 全闪存池,呃,但你仍然受限于你知道的SAS和
HN 上的讨论
> 现在我们有了 NAND 存储,我们会以不同的方式创建文件系统吗?有没有办法在整体性能上实现阶跃变化?你可能会喜欢 Allan Jude 2022 年的“Scaling ZFS for NVMe”演讲 [0]。tl;dw 是现代 NVMe 驱动器变得如此之快,以至于文件系统开发者不得不重新审视几十年来关于哪些操作慢哪些操作快的假设。暴露 SATA 接口并假装是超快硬盘的闪存存储是一种进化式的改进。NVMe 更像是一种革命性的改进,它摒弃了旋转磁盘的假设。例如,SATA 将设备限制为一个命令队列,最多 32 个命令;NVMe 使其几乎无限(64k 个队列,每个队列最多 64k 个命令)[1] NVMe 规范中还有一个角落 [2] 允许你将 SSD 直接视为键值存储,而不是块存储,并在其上实现键值层的文件系统。这很有前景,但据我所知,还没有主流文件系统使用它,我不确定支持是否已经渗透到消费… — evil-olive, 2025-03
这个 2022 年的演讲涵盖了这个主题:[VIDEO] 注意:在 1:30 处声音中断了几分钟,但之后恢复了。 — porjo, 2025-04
> 我使用了两台“常用”机器,配置不同的硬件,一台小的带 SATA SSD,一台大的带 NVMe SSD。ZFS 在 NVMe/闪存上有一些已知的限制。参见 Allan Jude 在 EuroBSDcon 2022 的演讲“Scaling ZFS for NVMe”:* [LINK] * [VIDEO] 当 ZFS 创建时,旋转磁盘仍然是主流,SSD 刚刚开始普及,因此 ZFS 创建了“混合存储”池来平衡空间、速度和成本:* [LINK] * [LINK] * [LINK] * [LINK] * [LINK] — throw0101b, 2024-04
在 EuroBSDcon 2022 上,Allan Jude 做了演讲“Scaling ZFS for NVMe”:> 了解 ZFS 如何适应 NVMe 改变存储规则的方式。过去,存储相对于 CPU 较慢,因此请求会被预处理、排序和合并以提高性能。现代 NVMe 的延迟如此之低,我们必须尽可能避免这种预处理,以保持这种新存储范式所提供的性能。> 概述 Klara 为提高高线程数机器上大量 NVMe 磁盘的多个 ZFS 池的性能所做的工作。[…] > 详细介绍我们如何将写入性能从 3 GB/秒提高到超过 7 GB/秒。* [VIDEO] 当 ZFS 创建时,旋转磁盘仍然是主流,SSD 正在普及,因此 ZFS 创建了“混合存储”池:* [LINK] * [LINK] * [LINK] * [LINK] * [LINK] 对于倾向于大容量存储(相对于 IOps)的用例仍然有用。 — throw0101c, 2023-10
> 我期待 NVMe 驱动器的 Direct IO 速度改进,使用 [LINK] 另见 Allan Jude 在 EuroBSDcon 2022 上的“Scaling ZFS for NVMe”:* [VIDEO] — throw0101c, 2023-07
相关视频
- Python如何被泄漏的内部机制塑造,Armin Ronacher,Flask框架 · Видео с мероприятий {speach! · 49:55
- systemd 的悲剧 · linux.conf.au · 47:18
- CppCon 2015:Andrei Alexandrescu “std::allocator...” · CppCon · 1:12:27
- “用确定性模拟测试分布式系统” by Will Wilson · Strange Loop Conference · 40:20
- Rich Hickey 谈价值的价值 · InfoQ · 31:43
- 防止文明崩溃 / Jonathan Blow (Thekla, Inc) · DevGAMM · 1:02:41
- Emery Berger 的“性能至关重要” · Strange Loop Conference · 42:15
- 三千万行代码问题 · Molly Rocket · 1:48:55
- CppCon 2017: Matt Kulukundis “逐步设计一个快速、高效、缓存友好的哈希表” · CppCon · 59:33
- VCF East: Ken Thompson 接受 Brian Kernighan 采访 · Vintage Computer Federation · 1:03:51
- AWS re:Invent 2018: Amazon DynamoDB 深入探讨:DynamoDB 高级设计模式 (DAT401) · Amazon Web Services · 59:56
- Erlang Factory 2014 - 那是带 'B' 的 'Billion':在 WhatsApp 扩展到下一个级别 · Erlang Solutions · 49:15
- 古惑狼如何黑掉原版PlayStation | 战争故事 | Ars Technica · Ars Technica · 31:37
- LISA11 - Fork Yeah! illumos 的崛起与发展 · USENIX · 1:04:03
- Martin Kleppmann 的 "用 Apache Samza 将数据库翻转" · Strange Loop Conference · 47:42
- Gil Tene 的 "如何不测量延迟" · Strange Loop Conference · 42:59