Charlie Marsh:uv:一个极快的Python包管理器
Charlie Marsh: uv: An Extremely Fast Python Package Manager
频道:Jane Street · 时长:40:33 · 发布:2024-10-23 · 播放:108017
简介
Astral的Charlie Marsh解释了Rust编写的Python包管理器uv如何变得如此之快。他涵盖了分配器、并发、零拷贝技巧以及Python打包的挑战。
HN 为什么推荐
被推荐为对uv速度背后优化的迷人技术描述。
我最近看了uv作者的一个演讲,出乎意料地引人入胜 — HN, 2024
C、C++、Rust、Go 与系统语言 · Python、Ruby 与脚本语言 · 软件性能与优化
中文字幕节选
- 大家好。(观众嘈杂声,听不清) Charlie Marsh 是 Astral 的创始人, 这家公司为 Python 生态系统构建高性能开发者工具。 在过去两年里,他发布了 Ruff,一个 Python 代码检查器和自动格式化工具, 以及 uv,一个 Python 包和项目管理器。 这两个项目每月的下载量都已达到数千万次, 并在开源和企业领域都得到了迅速采用。 - 好的,大家能听到我说话吗? 好的,太好了,非常好。哇,非常棒的开场介绍。 那么,我自己的开场幻灯片该怎么办呢? 是的,我叫 Charlie,是 Astral 的创始人。 是的,所以我和我的团队, 我们把时间花在尝试用 Rust 构建非常快的 Python 工具上。 我们主要以两个工具闻名,对吧? 第一个是 Ruff,它是一个代码检查器、 格式化器和代码转换工具。 所以你可以用它来格式化你的代码, 也可以用它来识别未使用的导入等问题并自动修复它们。 第二个,也是我今天要讲的重点, 是 uv,我们的 Python 包管理器。 我在 PyCon 上做过一个关于 Ruff 的演讲,大致介绍了 Ruff 是什么, 稍微讲了一点它的工作原理,以及它为什么快。 这次会类似,但重点是 uv。 所以我想先谈谈 uv 是什么。 我会尽量讲得简短,因为这可能是最没意思的部分。 我们为什么构建它,构建过程中遇到的一些难题。 然后通过几个例子或者说案例研究, 讲讲我们做的让它变得非常快的事情,因为这是我们最常 被问到的问题,就是,它为什么快? 所以 uv 是我所说的快速一体化 Python 包管理器。 你可以用 uv 来安装 Python 本身, 创建虚拟环境,解析依赖, 当然还有安装包,毕竟它是包管理器。 你可以用它来构建你自己的 Python 包, 然后上传和分发。 所以 uv 是,如果你熟悉 Python 生态系统, 你可以把它看作是一个直接替代品, 可以替代 pip、pipx、plinth、virtualnv、poetry 等工具。 它不是要替代其中任何一个, 而是真正打算替代它们全部。 我们模仿 Cargo 来设计 uv 的目标。 所以如果你在 Rust 生态系统中工作过, 那里的工具链非常精简和统一。 我会这样描述,我觉得 Rust 工具链…… 哦不。 好吧。(观众笑)等一下。 好吧,我的想法是 Rust 工具链非常可靠。 当我克隆一个 Rust 项目时,我非常有信心能运行它。 它会成功运行,而且我知道怎么运行。 我们正试图让 uv 为 Python 工具链带来类似的体验。 所以 uv 是一个单一的静态二进制文件,理想情况下能提供 你高效使用 Python 所需的一切。 你安装 uv,然后一切就都为你处理好了。 所以 uv 做了很多事情,而且它做所有这些事情的速度都远远快于 生态系统中的许多其他工具。 当我们开始的时候,我知道当我们开始做包管理器时,
HN 上的讨论
我最近看了 uv 作者的一个演讲,出乎意料地引人入胜[1]。他深入介绍了一些他们为了让它如此之快而想出的比较著名的技巧。对我来说最有趣的是,在 Python 中,给定已定义的约束(例如在 requirements.txt 中),包解析映射到一个布尔可满足性问题,这是 NP 完全的。所以 uv 使用自定义的 SAT 求解器来完成这个。我完全低估了这款软件背后的工作量,看完这个演讲后,我很沮丧在工作中不得不使用 Poetry。[1] [VIDEO] 编辑:是 NP 完全,不是 NP 难 — kolja005, 2024-11
公平地说,整篇文章在我看来并不好,不管有没有 ChatGPT 参与,而且奇怪的是有些人似乎把它当作某种启示。我的意思是,当然不是 Rust 让它变快,这其实是一个平庸的陈述:你只需要有非常中等程度的严肃编程经验就知道,从头重写遗留系统可以让它更快,即使你用"更慢"的语言重写。天哪,有些 C++ 系统在用 Python 重写后变得更快。这就是系统成为"遗留"系统的原因:它做了大量的事情,而没有人真正知道它现在做什么。但在列举让 uv 更快的事情时,它确实提到了一些愚蠢的事情,等等。比如,它不解析 pip.conf。对,当然,uv 速度的秘密在于不解析其他包管理器的配置文件。太好了。所以总而言之,是的,毫无疑问,数百个小事情促成了 uv 更快,但列出其中几十个(肯定是一个非详尽的列表)并不能让你对不同改进的相对重要性得出任何结论。我想提到的演讲[0](尽管已经一年多了)会是一个更好的技术报告… — krick, 2025-12
这里有一个来自作者之一的演讲:[VIDEO] 太长不看:Rust、快速的 SAT 求解器、关键组件的微优化、缓存以及硬链接/写时复制。 — globular-toast, 2025-06
太爱 @burntsushi 了,他在很多方面改善了我的生活,rg,... 现在在 Python 中也有 uv!很高兴看到 Charlie 在[1]中感谢他解决了 uv 中的版本比较优化问题。也非常感谢整个 Astral 团队在 uv 上所做的一切,这简直是魔法!1: [VIDEO] — snthpy, 2024-12
相关视频
- “简单造就易用” - Rich Hickey (2011) · Strange Loop Conference · 1:01:38
- 了解丰田RAV4混合动力车 · WeberAuto · 39:08
- 🚀 TDD,哪里出错了(Ian Cooper) · DevTernity Conference · 1:03:55
- David Beazley - 从零开始构建Lambda演算 - PyCon 2019 · PyCon 2019 · 3:26:34
- Ruby Conf 12 - Y Not- 函数式编程历险记 by Jim Weirich · Confreaks · 53:21
- 神经网络和反向传播的详细入门:构建micrograd · Andrej Karpathy · 2:25:52
- Python如何被泄漏的内部机制塑造,Armin Ronacher,Flask框架 · Видео с мероприятий {speach! · 49:55
- RailsConf 2014 - Sandi Metz 谈所有的小细节 · Confreaks · 38:47
- 事件循环到底是什么?| Philip Roberts | JSConf EU · JSConf · 26:52
- CppCon 2015:Andrei Alexandrescu “std::allocator...” · CppCon · 1:12:27
- Go 中的词法扫描 - Rob Pike · GoogleFOSSSydney · 51:17
- 如何设计好的 API 以及为什么它很重要 · Google TechTalks · 1:00:19
- 时间与时区的问题 - Computerphile · Computerphile · 10:12
- 防止文明崩溃 / Jonathan Blow (Thekla, Inc) · DevGAMM · 1:02:41
- Emery Berger 的“性能至关重要” · Strange Loop Conference · 42:15
- RailsConf 2016 - Turbolinks 5:难以置信它不是原生的! by Sam Stephenson · Confreaks · 37:37