XFS:文件系统可扩展性的近期和未来冒险 - Dave Chinner
XFS: Recent and Future Adventures in Filesystem Scalability - Dave Chinner
频道:Linux.conf.au 2012 -- Ballarat, Australia · 时长:49:16 · 发布:2012-01-20 · 播放:29086
简介
Dave Chinner 在 linux.conf.au 2012 上的演讲,关于 XFS 可扩展性,涵盖大量文件和复杂元数据的痛点,以及修复 XFS 元数据性能的工作。
HN 为什么推荐
HN 推荐它作为 XFS 元数据性能修复以及 XFS 如何在 Linux 上开发和变得健壮的权威解释。
请查看 Dave Chinner 的这个演讲,他解释了 XFS 是如何开发并移植到 Linux 的 — HN, 2023
数据库与存储 · 操作系统与内核 · Linux 与开源生态系统
中文字幕节选
[掌声] 好的,就像T恤上说的,我并非疯狂,只是 大部分时候如此。嗯,我在红帽工作,大部分时间花在XFS和 VFS层面的东西上,主要是在上游内核中。嗯,今天我要讲的是 XFS可扩展性方面取得的进展,主要涉及元数据, 因为这一直是XFS的传统弱点。我们都知道 它能扩展到海量数据,但如果你不能快速创建这些数据, 比如大量文件等等,那它对你帮助就不大。 这就是元数据可扩展性的用武之地。嗯,讲完这些之后,我们 会谈谈未来几年XFS开发和可扩展性方面 会发生什么。实际上,如今可扩展性的挑战 在于可靠性,而不是性能。我们已经解决了性能 问题。让我们回到2007年在巴拉瑞特的LCA, 当时她在描述何时使用XFS:如果你有大量或大型用途, 就用XFS。但这里有个问题:我们有元数据性能问题。这就是 我们要讨论的:它们是什么,我们如何解决,现在我们已经解决了, XFS在元数据密集型工作负载上扩展得如何,我们将 从这里走向何方,为什么我们要改变磁盘上的元数据格式,这看起来可能有点 极端,所以我们会解释,然后这一切意味着什么。好的,那么XFS 元数据问题:元数据读取在XFS中扩展得非常好,一切都是 B树结构,所以查找时间是对数的,非常可扩展。然而 元数据性能却很糟糕。好的,我们通过元数据事务引擎获得了出色的并行性, 但问题在于事务提交基本上 是串行的,这是个大问题,它无法扩展到超过一个 CPU,通常是因为IO层面的限制,而不是有 锁挡路,我们会谈到这一点。因为事务吞吐量,提交 受限于日志带宽,我们写入太多信息、太多元数据 到日志中,基本上会耗尽任何磁盘子系统的带宽, 而且这还不是数据,只是日志。另一个 问题是元数据回写会导致IO风暴。我们修改了太多 元数据,而且它散布在整个磁盘上,最终导致随机回写 模式,你知道,这里4K回写,那里,那里,我们让磁盘 寻道到死。所以即使我们解决了日志带宽问题, 我们仍然面临元数据回写成为限制的问题,然后 当然,XFS中有很多锁要处理。好的,真的 没那么糟糕吧?大家都说大量和大型,你知道 到底有多糟糕?这些数据是在 2.6.34内核、单个SATA驱动器上取得的。好的,FS Mark, 创建基本上和Ravi谈到的相同的工作负载,FS Mark创建零 长度文件,每个文件一个目录,所以在VFS层面或 文件系统层面没有争用。好的,按理说在文件系统层面 没有争用,我们在这里看到的是结果与日志吞吐量的对比, 所以我们的结果在右手边,嗯,日志吞吐量在 左手边。我们可以看到日志吞吐量是每秒120兆字节, 这已经是那个SATA驱动器的极限了,结果直接与 日志吞吐量成比例。让我们换一个更快的驱动器,只是为了展示这一点 对于更大的存储子系统也成立。好的,我们现在有40,000、45,000, 比之前的磁盘快了七八倍。嗯,应该有——有 12个磁盘。日志吞吐量达到每秒550兆字节,
HN 上的讨论
> XFS可能是Linux上最好的选择 是的,同意。但是,我也在它上面丢失过文件(文件被0覆盖,正如其他人已经评论的那样)。此外,如果你不需要ZFS提供的额外功能,它是最好的选择。由于它的校验和验证,我已经三次检测到坏的SATA线缆(在不同的系统上),而不是得到损坏的数据。 > 它当年由SGI设计和实现得很漂亮。希望ChatGPT一代不要开始过多修改那个代码。 但事实并非如此。请查看Dave Chinner的这个演讲,他解释了XFS是如何开发并移植到Linux,然后由他和其他贡献者使其健壮和稳定的。磁盘格式已经改变了很多次,现在它健壮且能抵抗元数据损坏。 Dave Chinner的XFS开发演讲 [VIDEO] Linux FS的历史,也是Dave Chinner的:[LINK] — noigai, 2023-12
我想知道你是否知道Dave Chinner的演讲,它解决了元数据性能问题。(他们修复了)[VIDEO] — justin66, 2014-06
> 不久前,我在某处读到XFS适合少量大文件,而ReiserFS适合大量小文件。我不知道这是否仍然正确,如果曾经正确的话。 这曾经是正确的。长期以来,XFS在移动数据方面一直是最快的真实文件系统,而在实际使用中更改元数据方面则是最慢的之一。第二次解压内核压缩包(在第一次之上)几乎是元数据操作的经典基准测试,也是XFS曾经表现最差的地方。XFS现在成为新闻正是因为他们修复了那个缺陷。在其他几乎所有方面,它仍然比ext*、zfs和btrfs快,但现在在修改元数据时与它们相当。所以这正是使用正确基准测试的原因,因为这是最近有变化的地方。Dave Chinner在linux.conf.au上展示这个的视频:[VIDEO] — Tuna-Fish, 2012-02
相关视频
- 辛克莱在特朗普媒体战争中的士兵 · Deadspin · 1:39
- systemd 的悲剧 · linux.conf.au · 47:18
- “用确定性模拟测试分布式系统” by Will Wilson · Strange Loop Conference · 40:20
- Rich Hickey 谈价值的价值 · InfoQ · 31:43
- 三千万行代码问题 · Molly Rocket · 1:48:55
- VCF East: Ken Thompson 接受 Brian Kernighan 采访 · Vintage Computer Federation · 1:03:51
- AWS re:Invent 2018: Amazon DynamoDB 深入探讨:DynamoDB 高级设计模式 (DAT401) · Amazon Web Services · 59:56
- Wayland 和 X 背后的真实故事 - Daniel Stone (linux.conf.au 2013) · Mladen Mijatov · 45:35
- LISA11 - Fork Yeah! illumos 的崛起与发展 · USENIX · 1:04:03
- 技术演讲:Linus Torvalds 谈 git · Google · 1:10:15
- Martin Kleppmann 的 "用 Apache Samza 将数据库翻转" · Strange Loop Conference · 47:42
- USENIX ATC '21/OSDI '21联合主题演讲——操作系统是时候重新发现硬件了 · USENIX · 1:06:19
- AT&T 档案:UNIX 操作系统 · AT&T Tech Channel · 27:27
- 最终一致性的冲突解决 • Martin Kleppmann • GOTO 2016 · GOTO Conferences · 51:35
- DebConf 14:与 Linus Torvalds 的问答 · Adnan Hodzic · 1:11:43
- 01 - 课程介绍与关系模型(CMU 数据库系统 / 2019 年秋季) · CMU Database Group · 1:06:44