Brandt Bucher – CPython 的 JIT 编译器
Brandt Bucher – A JIT Compiler for CPython
频道:encukou · 时长:47:50 · 发布:2023-11-15 · 播放:14098
简介
Brandt Bucher 在 2023 年核心开发者冲刺会上展示了他的 CPython 原型 JIT 编译器。他解释了复制-修补方法、实现及其性能。
HN 为什么推荐
它是关于 CPython 的 JIT 如何工作以及其设计为何如此简单的首选解释。
我推荐大家观看 Brandt Bucher 去年在 CPython 核心开发者冲刺会上的“CPython 的 JIT 编译器”[0]。 — HN, 2024
Python、Ruby 与脚本语言 · 软件性能与优化 · 编译器、解释器与程序分析
中文字幕节选
好的,时间到了!接下来是 Brandt 的演讲! [掌声] [Brandt] 好的,那么,与其明天 做这个演讲……顺便问一下,大家能听到我说话吗?好的,很好。那么,与其 明天做这个演讲,我今天就来讲。我将分享一些 我过去几个月一直在思考的东西, 也就是 Python 未来的 JIT 编译器可能是什么样子。或者,具体来说,是 CPython 未来的 JIT 编译器。 那么,我先从一些背景知识开始,这也会 为紧接着我之后的 Ken 的演讲提供很好的背景, 关于我们希望执行的优化。 具体来说,我主要会讲一些我做的实验, 关于实际生成和执行机器码,而不 一定是优化和其间发生的事情。不过,我 会给出一些相关背景,因为我觉得这对 理解一切如何联系在一起非常有帮助。那么,一点近期历史: 在 CPython 3.11 中,一个头条特性是 特化自适应解释器。 这带来了非常好的速度提升;我想我们最广泛引用的数字 大约是 25%。如果你想按表面价值理解, 认为这只是一次性性能提升,那当然可以,但 如果你仔细想想,稍微读读字里行间, 就会明白我们现在正在为用户代码收集运行时分析数据。 这是我们以后可以使用的,如果我们想降低那部分代码的层级, 让它更静态类型化。 在 CPython 3.12 中,作为维护者,我们得到了一个很好的生活质量改进。 我们开始从一个领域特定语言生成解释器分支,也就是主 `switch`。 这让我们能够在构建时分析和修改 解释器的部分。这对 实际处理字节码的人真的很有帮助,因为我们可以少担心 错误处理、引用 计数、添加计数器、统计等这类事情。 但与此同时,如果你能再次读读字里行间,我们现在 能够从单一事实来源生成多个解释器。 而且我们还能够通过 分析那个单一事实来源来生成大量元数据。 所以在 3.13 中——再次强调,这些都是目前实际上在 main 上的东西—— 我们确实有一个内部管道,用于检测、优化和执行热 代码路径。这默认是关闭的,但如果你构建 Python 并设置 正确的环境变量或传递正确的 -X 选项——它叫 uops, 基本上,CPython 会在你的代码中找到热循环,它会 基本上,构建该循环的跟踪,并将其分解为 更高效的表示,并优化它——做一些 轻量级优化——并在第二个解释器中执行它。现在,目前, 这实际上有点慢,所以你不会想打开它。它大约 慢 5% 或 6%,只是因为这是整个管道的 第一阶段,最终解释器并不是我们真正想要 执行这些东西的地方。我稍后会讲到。但基本上,这 如果没有前两步中的任何一步都不可能实现。能够 将大而复杂的字节码指令分解为更简单的 原子步骤,这只有因为 3.11 中为 特化所做的更改,以及 3.12 中我们能够用更小的步骤 定义字节码指令,才成为可能。所以,我喜欢提供例子, 这样我们可以走一遍这个管道在实践中是什么样子, 以及未来可能是什么样子。那么,我们将看看我的斐波那契
HN 上的讨论
你说得对,而且在这种情况下,“基础性工作”甚至低估了这项工作相比它已经取得的成果有多么微小。我建议大家看看 Brandt Bucher 去年在 CPython 核心开发者冲刺活动上的“A JIT Compiler for CPython”[0]。它能让人很好地了解当前实现及其局限性,并暗示哪些方向可能行得通、哪些可能行不通。它还通过问答讨论中的交流,间接让人一窥将这项功能引入 Python 的过程。尤其要强调的一点是,这种 copy-and-patch 对维护者来说实现复杂度要低得多,因为大量繁重工作都交给了 LLVM。举个例子:截至那次演讲,这全都是 Brandt Bucher 一个人的工作。当时的实现大约是 700 行“复杂”的 Python、约 100 行“复杂”的 C,当然还有 LLVM 依赖。这会生成约 3000 行“简单”的生成 C,还需要额外约 300 行“简单”的手写 C… — vanderZwan, 2024-01
是的。这就是正在开发中的 CPython JIT 所选择的算法,计划从 3.13 起纳入。见 [VIDEO] — Qem, 2024-06
“整体上只比 LuaJIT 慢 35%”,这是一个月前视频里的说法。不过我不知道这些“整体”测试具体是哪种。 [VIDEO] 幻灯片(第 31 页性能):[LINK] — acqq, 2023-12
相关视频
- RSA动画:语言作为洞察人性的窗口 · Royal Society of Arts · 10:53
- 你为什么这么愤怒?第一部分:Anita Sarkeesian 简史 · Innuendo Studios · 9:35
- 漫威交响宇宙 · Every Frame a Painting · 13:35
- 一个转变的讲师的自白:Eric Mazur · UMBCtube · 1:20:08
- 交互式笔记本 ~ Pluto.jl | Fons van der Plas | JuliaCon 2020 · The Julia Programming Language · 23:37
- Matplotlib 更好的默认颜色映射 | SciPy 2015 | Nathaniel Smith 和 Stéfan van der Walt · Enthought · 19:08
- Geoffrey West 谈复杂性 · FQxI · 40:50
- 4 2 1 Christopher Domas RE的未来 动态二进制可视化 · Adrian Crenshaw · 48:39
- 斯坦福研讨会:超越浮点数:下一代计算机算术 · Stanford Online · 1:31:28
- “性能(真的)重要”与 Emery Berger · Association for Computing Machinery (ACM) · 1:04:47
- Emery Berger 的“性能至关重要” · Strange Loop Conference · 42:15
- 铝制饮料罐的巧妙设计 · engineerguy · 11:39
- Excel 中的纯函数式编程 • Felienne Hermans • GOTO 2016 · GOTO Conferences · 43:16
- Plover:以240词/分钟的速度将思想转化为文字 · Next Day Video · 34:21
- Ruby Conf 12 - Y Not- 函数式编程历险记 by Jim Weirich · Confreaks · 53:21
- 神经网络和反向传播的详细入门:构建micrograd · Andrej Karpathy · 2:25:52