“NTFS其实没那么糟” - Robert Collins (LCA 2020)
"NTFS really isn't that bad" - Robert Collins (LCA 2020)
频道:linux.conf.au · 时长:48:04 · 发布:2020-01-16 · 播放:160893
简介
Robert Collins解释了为什么在Windows上rustup安装极其缓慢,以及如何通过修改rustup和Windows将安装时间从3分30秒缩短到14秒。演讲涵盖了NTFS、小文件以及文件关闭时杀毒软件钩子的开销。
HN 为什么推荐
这是关于Windows上文件操作为何缓慢以及杀毒软件过滤器(而非NTFS本身)是罪魁祸首的首选参考资料。
这是关于该主题的精彩演讲 — HN, 2024
C、C++、Rust、Go 与系统语言 · 软件性能与优化 · 操作系统与内核
中文字幕节选
好,今天我要介绍的是 Robert Collins,带一个 T,NTFS 其实没那么 糟糕 [掌声] 感谢大家来听 我的演讲,希望你们喜欢。我们要聊的是一个第十大 性能改进,以及 Windows 上的 rustup,其实主要是 Windows 上的大部分东西。在 我深入之前,在座有谁不知道 rustup 是什么?好吧,我大概应该把 手放下来。所以在这个演讲的任何时候 提问都可以。我不想落下任何人。如果你听不懂 后面的内容,那会相当令人失望。但如果我请你等到 最后,或者稍后来找我聊,请尊重这一点,因为房间里有很多人。 讨论当然可以,它们可以等。我 确实重视反馈,但你知道,有几百号人,他们会 处理我们进行的任何讨论,而不是只有你和我。演讲后来找我 吧。现在,当我问起 rustup 时举手的那些人 ——抱歉,这一次连胡子都不是重点了——是不是去年 我介绍 rustup 的时候?rustup 是 Rust 的语言专用安装器。所以如果你不是从 Linux 发行版获取 Rust,你就从 rustup 获取。它知道如何安装 Rust 以及 各种 Rust 组件,知道如何在 Linux、Mac 和 Windows 上安装, 未来可能还有其他平台。 一年前我在公路旅行,离我的工作站非常非常远, 我在用 Surface。我住在一个可怕、可怕的小汽车旅馆里,Wi-Fi 非常非常糟糕,那里的 4G 网络更糟。rustup 安装 慢得令人痛苦。我想写一些 Rust 代码,想搞我的个人项目,但我好奇这是怎么回事。 于是我去谷歌搜了一下,找到一个 bug。原来 安装 rustup、安装其中一个特定部分才是真正慢的地方—— 安装文档。有一个 bug 报告,问题显然已经解决了, 而且 bug 报告正确地归咎于系统上的 杀毒软件。我不需要做别的,关掉杀毒软件就行。好吧,等等,为什么 这个 bug 还是开着的?关掉杀毒软件,它还是慢。 肯定还有别的原因。于是一群 懂行的人在那个 bug 和其他几个地方展开了非常长的讨论, 关于问题到底是什么。他们拿出工具,测量 这些不同测量结果的共同点是什么。 不,最下面那个不在 Windows 上。 事实上 rustup 在所有平台上都运行,它们没有一个 能很好地利用 NTFS。它们也不能很好地利用接口或 Gluster, 如果源是……事实上唯一在 SSD 上真正表现良好的是 tar。为什么?如果你知道答案,你可能已经掌握了那个要点, 很好。其他一些演讲非常有趣,但这里还有更多 内容。那个 bug 已经跑偏了。我相信你从没见过一个 bug,人们 在争论错误的东西:NTFS 很糟糕,它没法修, 我们得改变我们的做法,用户不想要文档,那就别发布 它们。大家都在谷歌上查,除了在飞机上的时候——这确实在改变, 但不是所有地方。让我们把它们打包成 ISO 文件或 zip 文件,运行一个本地 web
HN 上的讨论
因此,如果你想让程序在Windows上运行得快,你会做出与其他平台非常不同的优化决策。例如,Windows在close()时会运行病毒扫描,这使得它非常慢。这意味着有时有一个或多个后台线程专门用于关闭文件是有意义的。有一个很好的演讲关于这个,在[VIDEO] — miki123211, 2025-01
我想借此机会推荐演讲“NTFS 没那么糟糕”([VIDEO])。NTFS 更喜欢与大多数常见文件系统不同的访问模式。我记得演讲的一部分也涉及了在 Linux 上的加速。所以即使它不能改变你的观点,也应该能增强你对文件系统工作原理的理解。 — ablob, 2024-07
这可能是由于恶意软件检测加上大多数 Unix 程序并没有真正利用 NTFS 提供的功能。这是一个关于该主题的精彩演讲 [VIDEO] — unchar1, 2024-07
如果你习惯了 Linux 的行为,将代码移植到 Windows 并期望相同的性能,NTFS 可能会特别糟糕。这里有一个关于将 rustup 移植到 Windows 的演讲:[VIDEO]。起初,rustup 在 Windows 上安装需要 3 分 30 秒。在反复调整代码,从在 Linux 上运行良好的朴素实现转变为对 NTFS 更友好的实现后,同样的 rustup 安装只需 14 秒。这是相当大的性能提升!但这需要对 rustup 和 Windows 本身进行大量更改。 — amiga386, 2024-07
将你的 npm 目录添加到 Windows Defender 的病毒文件排除列表中。注意,有些目录可能不明显(例如 AppData 下的那些)。对于像这样需要处理大量小文件的工具来说,速度提升是巨大的。另外,也看看这个关于 NTFS、文件系统速度以及演讲者如何优化 Rust 安装程序的演讲:[VIDEO]。对于处理大量文件的工具来说,在 Windows 下也有很多方法可以提升性能。 — jmmv, 2022-09
相关视频
- 意外杀死历史上最多人的人 · Veritasium · 24:57
- 我们如何打造 MuseScore 4——音乐应用设计充满挑战! · Tantacrul · 46:33
- 我如何为 500 万音乐家设计免费音乐字体(MuseScore 3.6) · Tantacrul · 19:40
- Python如何被泄漏的内部机制塑造,Armin Ronacher,Flask框架 · Видео с мероприятий {speach! · 49:55
- systemd 的悲剧 · linux.conf.au · 47:18
- CppCon 2015:Andrei Alexandrescu “std::allocator...” · CppCon · 1:12:27
- Go 中的词法扫描 - Rob Pike · GoogleFOSSSydney · 51:17
- 防止文明崩溃 / Jonathan Blow (Thekla, Inc) · DevGAMM · 1:02:41
- Emery Berger 的“性能至关重要” · Strange Loop Conference · 42:15
- 三千万行代码问题 · Molly Rocket · 1:48:55
- CppCon 2017: Matt Kulukundis “逐步设计一个快速、高效、缓存友好的哈希表” · CppCon · 59:33
- VCF East: Ken Thompson 接受 Brian Kernighan 采访 · Vintage Computer Federation · 1:03:51
- RustConf 2018 - 闭幕主题演讲 - 使用 Rust 进行游戏开发 by Catherine West · Rust Programming Language · 42:29
- Erlang Factory 2014 - 那是带 'B' 的 'Billion':在 WhatsApp 扩展到下一个级别 · Erlang Solutions · 49:15
- 古惑狼如何黑掉原版PlayStation | 战争故事 | Ars Technica · Ars Technica · 31:37
- LISA11 - Fork Yeah! illumos 的崛起与发展 · USENIX · 1:04:03