OpenZFS办公时间与Matt Ahrens

OpenZFS Office Hours with Matt Ahrens

频道:OpenZFS · 时长:1:25:24 · 发布:2013-10-11

在 YouTube 观看

简介

一次OpenZFS办公时间会议,ZFS联合创始人Matt Ahrens回答关于洞出生时间、发送/接收缓冲区、设备移除、块指针重写以及许多快照下的性能等问题。

HN 为什么推荐

被引用为为什么块指针重写在ZFS中如此难以实现的权威解释。

上面的视频解释了实现块指针重写的一堆障碍。 — HN, 2014

数据库与存储 · 操作系统与内核

中文字幕节选

外文 所以嗯,我从旧金山现场直播来和大家交流,我是Matt Ahrens 我在2001年和Jeff Bonwick一起启动了ZFS项目 在Sun Microsystems,今天我来这里回答关于 嗯ZFS和OpenZFS以及任何你们想讨论的问题,所以嗯看起来我们 只有几个人在这里,嗯非常准时,嗯,那么开始吧,嗯 Derek,嗯Karen或Prakash,任何我能告诉你们关于Open ZFS的事情 Tubity有问题,好的,嗯,那我就开始告诉你们 嗯一些我正在做的ZFS相关的事情,嗯 所以嗯,目前我正在和嗯Max做一个项目 嗯Max Grossman,他是Delphix的另一位员工,嗯 他现在被困在火车上,否则他会加入我们,嗯但我们正在做一个 项目,主要是他实现的,想法是如果你曾经使用过ZFS 发送和接收,比如用于备份或远程复制 那么嗯,我们注意到了一个问题,一个性能 问题,当你发送一个包含大量空洞的流时 例如嗯,这在发送zvol时经常发生,所以我们 在发送zvol进行远程复制时注意到了这个问题,嗯从 一台机器到另一台,所以zvol包含其他文件系统,它们一开始 基本上是全部稀疏的,但随后当其他文件系统,比如NTFS填充 卷的部分区域时,嗯那些尚未填充的部分 嗯将成为空洞,所以这些空洞需要被[音乐]嗯,在OpenZFS中 目前这些空洞需要在每次你进行发送时 传输到另一台机器,所以基本上问题是我们不知道一个空洞是 新创建的还是一直存在的,嗯所以最终结果是 你得到这些发送流,也许你在zvol中只改变了 一兆字节的数据,但还有你知道的10000个空洞,换句话说 逻辑上零填充的区域,嗯所以 在当前的ZFS中,我们必须发送一兆字节的变化数据,然后 还有10000个嗯整个区域,嗯所以 嗯有了Max所做的新改变,嗯基本上将存储 每个空洞的诞生时间,就像我们写入数据块时 我们存储诞生时间,然后使用那个诞生时间来知道块 是否已改变,从而决定是否应该将数据发送到另一个 系统,我们将对空洞做同样的事情,所以当嗯当一个 空洞被创建时,无论是应用程序写入一整串零然后 我们将其压缩掉成为一个空洞,或者嗯一个显式的trim命令 或者文件的truncate,那么将记录 发生的时间,这样我们就知道是否需要将其发送到远程系统 与否,所以我们看到这大大减少了需要发送的空洞 数量,嗯这有重大的性能影响,主要是在接收 系统上,现在不需要去检查所有这些块来弄清楚嗯它们 是否已经持有,我是否需要在这里打一个空洞之类的,嗯 嗯我们还,这是对ZFS处理空洞的几项改进的结果 嗯我们首先发现有一些几乎 病态的性能问题,嗯在接收这些空洞时,嗯 嗯这由于空洞数量太多而加剧,所以首先我们看到 嗯那种病态的性能问题,你有时可能会看到 在接收一个像zvol这样有很多空洞的文件时,嗯这在 今天的OpenZFS中,嗯然后我们意识到我们可以实际上大幅减少

HN 上的讨论

在我的系统上,root 账户主要用于升级,但也用于存储管理!ZFS 快照保护我免受日常操作中像 `rm -rf ~/` 这种奇怪排列的愚蠢错误。不一直使用 root 可以保护我免受 `zfs destroy -r nagato/data/home/drbawb` 的影响,这会摧毁我的主文件夹、144 个频繁快照(每 36 小时以 15 分钟为间隔)、14 个每日快照、4 个每周快照和 3 个每月快照。那会非常糟糕。(我有一个名为“RIP”的文件,那里曾经挂载过一个驱动器映像,因为我在一个 `copies=1` 的文件上对某些 ZFS 命令的递归选项过于热心。_RAID 不是备份,快照也不是备份,等等。_)这也意味着理论上勒索软件(在没有 root 的情况下运行)可以加密我的主目录,但除了使磁盘上使用的块数加倍之外,它对我的数据没有实际影响。(如果有人写了一个病毒,可以加密 ZFS 分区内… — drbawb, 2023-07
不,不幸的是 ZFS 没有碎片整理功能。解决这个问题的一种方法是将池的内容发送到另一个(新的)ZFS 池,在那里它会按顺序写入。但为此,你需要一组相同(或更大)容量的驱动器。有一些关于如何进行实际碎片整理的想法。它们通常基于一个称为块指针重写的概念,Matt Ahrens 曾说过这可能是“ZFS 中最后实现的功能”,因为它会使一切变得如此复杂,以至于之后很难添加新功能 [1]。 [1] [VIDEO](链接到解释的开始,关于“最后实现的功能”的引用大约在 50:25 处) — ploek, 2023-03
> Illumos 有一种扩展池的方法 ... ZFS 在新的更大的 vdev 内创建一个 vdev 嗯? > 我不知道这在 OpenZFS 中是否已经实现。openzfs 树(在 GitHub 上)与 illumos-gate(在 GitHub 上)几乎完全相同。 > 物理块地址本不应该是 ZFS Merkle 哈希树的一部分,从而允许物理地址改变而无需从根向下重写每个块。mahrens 在这里处理了这个问题(以及块指针重写):[VIDEO] 即使使用 SSD,IOPS 也是宝贵的。在旋转介质上,在读取和更新大型哈希表时消耗磁道到磁道的寻道时间是个糟糕的计划(参见去重表)。 — raattgift, 2017-07
[VIDEO] 上面的视频解释了实现块指针重写的一系列障碍。结论是,这会使代码复杂得多,破坏很多分层,并且可能使添加其他新功能变得更加困难。即使是独立的离线重写工具也不一定会被 OpenZFS 代码库接受,因为维护负担。他们的建议是,如果你认为需要该功能来解决特定问题,你应该寻找一种变通方法来解决该问题,而不需要庞大的块指针重写项目(没人在做),即使变通方法会产生显著且永久的性能影响。当你考虑到该功能被需求了多久,并且在路线图上一直处于“最终”状态,显然它不会很快发生,并且不会在没有对 ZFS 开发方式进行重大改变的情况下发生。这并非绝对不可能,但它永远需要几年才能实现。由于 btrfs 已经有了等效功能,并且正在从需要该功能的用户中抢占越来越大的份额,ZFS 可能永远不会实现它。 — wtallis, 2014-11

相关视频