ZFS:文件系统的终极篇章 第一部分

ZFS: The Last Word in File Systems Part 1

频道:Deirdré Straughan · 时长:1:01:26 · 发布:2012-06-12 · 播放:19398

在 YouTube 观看

简介

ZFS 的创造者 Jeff Bonwick 和 Bill Moore 在 2008 年 SNIA 软件开发者大会上展示了“ZFS:文件系统的终极篇章”。他们解释了设计,包括写时复制、校验和以及避免写入漏洞。

HN 为什么推荐

HN 推荐它作为直接来自发明者的 ZFS 设计的权威解释,并包含关于数据完整性的实战故事。

我会推荐任何对文件系统感兴趣的人观看 Jeff Bonwick(ZFS 发明者)解释 ZFS 的设计 — HN, 2016

数据库与存储

中文字幕节选

所以,嗯,我们今天在这里要和大家聊聊我们最喜欢的话题之一,ZFS。 先给大家简单介绍一下 ZFS 是什么,我们到底在想什么, 给那些还没时间仔细研究它的人。 我们真正想在 ZFS 中引入的最大概念之一,就是 池化存储的概念。也就是摆脱文件系统与某个 物理存储单元绑定的观念,无论是磁盘、卷还是其他什么。 我们希望它的运作方式更像虚拟内存系统对内存所做的那样。 也就是说,当你想给服务器增加更多内存时。 你会怎么做?理论上,你先关机,插上更多内存条, 开机,搞定,完事。 你不需要运行 dim config 或创建虚拟 dim,也不用把它们挂载到应用程序上或 做任何类似的事情。就是一切都变得更好了。 全是自动的。它是操作系统代表应用程序管理的一种资源。 应用程序需要更多内存。 调用 Malik。用完就完了。 调用 free。就这么简单。 与此同时,它有一个小令牌,一个虚拟地址,交给 操作系统来引用它存储的数据。 那么,为什么存储不能也这样呢? 更自动化,减少用户折腾,让计算机做它们擅长的事, 也就是管理资源和做所有繁琐的工作。 我们真正想引入的另一件事是,嗯,我们希望事物 始终保持一致。你知道,数据库的人做这个已经,嗯, literally 几十年了,而且似乎做得相当不错。 所以我们真的希望 ZFS 的核心,中间的内脏,是一个事务性 对象系统。这样磁盘上的数据始终一致。 不管你存储的是什么类型的数据,无论是,你知道, 文件、块、交换、根,还是其他什么。 它的核心就是一个事务性对象。 第三件事是我们真的想通过可证明的端到端数据完整性 来打造一个可靠的存储系统。 也就是说,你知道,当应用程序生成数据时创建一个签名, 然后当应用程序消费它时验证它是否仍然是相同的 数据。所以历史上人们说啊你不能那样做,对数据做一遍扫描 太邪恶了,你知道,就是别这么做。然而,自从人们上次认真研究这个问题以来, 很多事情已经改变了,也就是说,计算中的一切都变得 更快了,你知道,CPU 大约快了 1000 倍,内存大约快了 100 倍, 而磁盘比 10、15 年前大约快了 10 倍,所以虽然 一切都更快了,但这些速度的比例已经发生了相当大的变化。所以 这意味着,以前在 90 年代初,对数据做一遍扫描, 当它从 IO 子系统流入并从网络流出时,这个想法 只是,你知道,语法错误。 做不到。但现在我们发现,对数据做一遍扫描可以 以,你知道,饱和内存总线的速度发生。 所以每个核心每秒多个 GB。 所以要么你有一个超强的 IO 子系统来跟上单个核心 能验证的那几个 GB,要么更可能的是,用一小部分 CPU 来验证,你知道,流过你系统的每秒数百 MB, 最后,因为人们的存储系统越来越大,你知道, 人们不会说哇看一个 TB 的磁盘太好了,我只需要为我的数据 中心买一个,不,人们买更多的磁盘,它们变得越来越大,那是很多

HN 上的讨论

ZFS是TigerBeetle的灵感来源。我喜欢Jeff Bonwick和Bill Moore的这次演讲:“ZFS:文件系统的终极之言”[VIDEO] — jorangreef, 2023-11
> ZFS好吗? 2008年首次发布的演讲“ZFS:文件系统的终极之言”是一个很好的介绍。第1部分(共3部分)可能最好地解释了它与市面上几乎所有其他东西的不同之处(即使在2019年的现在):* [VIDEO] 第2部分展示了一些额外的好处/功能,第3部分是演示和问答。至少观看第1部分对任何好奇的人来说都是值得的;2和3是可选的。 — throw0101a, 2019-10
我会推荐任何对文件系统感兴趣的人观看Jeff Bonwick(ZFS发明者)解释ZFS设计的视频:[VIDEO]。他们有一些非常精彩的实战故事,解释了为什么他们发现对用户数据进行校验和也很有用。 — tnorgaard, 2016-06
ZFS:文件系统的终极之言: 第1部分:[VIDEO] 第2部分:[LINK] ZFS实战:[LINK] 这里有一些好东西:[LINK] — solarengineer, 2026-01
> 初始问题 你是指像当前建议的那样,除了镜像和条带(RAID-0/1/10)之外不要使用任何其他方式? > 崩溃后奇偶校验可能不一致(“写洞”)。 问题出现在“非正常关机”后发生磁盘故障时。但这是两种不同的故障。它们一起破坏了BTRFS raid5的冗余。如果在“非正常关机”后运行清理过程(期间没有磁盘故障),那些与校验和匹配的数据仍然可以被读出,而不匹配的数据将永远丢失。* [LINK] 我从十多年前ZFS在Solaris 10上出现以来就一直在使用它,由于其COW/ACID特性,它被专门设计为没有写洞。请观看2008年SNIA演讲,由ZFS的创造者Bonwick和Moore谈论没有写洞:* ACID/COW: [VIDEO] * 完整性: [VIDEO] — throw0101a, 2021-04

相关视频