Brandt Bucher – CPython 的 JIT 编译器

Brandt Bucher – A JIT Compiler for CPython

频道:encukou · 时长:47:50 · 发布:2023-11-15 · 播放:14098

在 YouTube 观看

简介

Brandt Bucher 在 2023 年核心开发者冲刺会上展示了他的 CPython 原型 JIT 编译器。他解释了复制-修补方法、实现及其性能。

HN 为什么推荐

它是关于 CPython 的 JIT 如何工作以及其设计为何如此简单的首选解释。

我推荐大家观看 Brandt Bucher 去年在 CPython 核心开发者冲刺会上的“CPython 的 JIT 编译器”[0]。 — HN, 2024

Python、Ruby 与脚本语言 · 软件性能与优化 · 编译器、解释器与程序分析

中文字幕节选

好的,时间到了!接下来是 Brandt 的演讲! [掌声] [Brandt] 好的,那么,与其明天 做这个演讲……顺便问一下,大家能听到我说话吗?好的,很好。那么,与其 明天做这个演讲,我今天就来讲。我将分享一些 我过去几个月一直在思考的东西, 也就是 Python 未来的 JIT 编译器可能是什么样子。或者,具体来说,是 CPython 未来的 JIT 编译器。 那么,我先从一些背景知识开始,这也会 为紧接着我之后的 Ken 的演讲提供很好的背景, 关于我们希望执行的优化。 具体来说,我主要会讲一些我做的实验, 关于实际生成和执行机器码,而不 一定是优化和其间发生的事情。不过,我 会给出一些相关背景,因为我觉得这对 理解一切如何联系在一起非常有帮助。那么,一点近期历史: 在 CPython 3.11 中,一个头条特性是 特化自适应解释器。 这带来了非常好的速度提升;我想我们最广泛引用的数字 大约是 25%。如果你想按表面价值理解, 认为这只是一次性性能提升,那当然可以,但 如果你仔细想想,稍微读读字里行间, 就会明白我们现在正在为用户代码收集运行时分析数据。 这是我们以后可以使用的,如果我们想降低那部分代码的层级, 让它更静态类型化。 在 CPython 3.12 中,作为维护者,我们得到了一个很好的生活质量改进。 我们开始从一个领域特定语言生成解释器分支,也就是主 `switch`。 这让我们能够在构建时分析和修改 解释器的部分。这对 实际处理字节码的人真的很有帮助,因为我们可以少担心 错误处理、引用 计数、添加计数器、统计等这类事情。 但与此同时,如果你能再次读读字里行间,我们现在 能够从单一事实来源生成多个解释器。 而且我们还能够通过 分析那个单一事实来源来生成大量元数据。 所以在 3.13 中——再次强调,这些都是目前实际上在 main 上的东西—— 我们确实有一个内部管道,用于检测、优化和执行热 代码路径。这默认是关闭的,但如果你构建 Python 并设置 正确的环境变量或传递正确的 -X 选项——它叫 uops, 基本上,CPython 会在你的代码中找到热循环,它会 基本上,构建该循环的跟踪,并将其分解为 更高效的表示,并优化它——做一些 轻量级优化——并在第二个解释器中执行它。现在,目前, 这实际上有点慢,所以你不会想打开它。它大约 慢 5% 或 6%,只是因为这是整个管道的 第一阶段,最终解释器并不是我们真正想要 执行这些东西的地方。我稍后会讲到。但基本上,这 如果没有前两步中的任何一步都不可能实现。能够 将大而复杂的字节码指令分解为更简单的 原子步骤,这只有因为 3.11 中为 特化所做的更改,以及 3.12 中我们能够用更小的步骤 定义字节码指令,才成为可能。所以,我喜欢提供例子, 这样我们可以走一遍这个管道在实践中是什么样子, 以及未来可能是什么样子。那么,我们将看看我的斐波那契

HN 上的讨论

你说得对,而且在这种情况下,“基础性工作”甚至低估了这项工作相比它已经取得的成果有多么微小。我建议大家看看 Brandt Bucher 去年在 CPython 核心开发者冲刺活动上的“A JIT Compiler for CPython”[0]。它能让人很好地了解当前实现及其局限性,并暗示哪些方向可能行得通、哪些可能行不通。它还通过问答讨论中的交流,间接让人一窥将这项功能引入 Python 的过程。尤其要强调的一点是,这种 copy-and-patch 对维护者来说实现复杂度要低得多,因为大量繁重工作都交给了 LLVM。举个例子:截至那次演讲,这全都是 Brandt Bucher 一个人的工作。当时的实现大约是 700 行“复杂”的 Python、约 100 行“复杂”的 C,当然还有 LLVM 依赖。这会生成约 3000 行“简单”的生成 C,还需要额外约 300 行“简单”的手写 C… — vanderZwan, 2024-01
是的。这就是正在开发中的 CPython JIT 所选择的算法,计划从 3.13 起纳入。见 [VIDEO] — Qem, 2024-06
“整体上只比 LuaJIT 慢 35%”,这是一个月前视频里的说法。不过我不知道这些“整体”测试具体是哪种。 [VIDEO] 幻灯片(第 31 页性能):[LINK] — acqq, 2023-12

相关视频