Larry Hastings - 移除 Python 的 GIL:Gilectomy - PyCon 2016

Larry Hastings - Removing Python's GIL: The Gilectomy - PyCon 2016

频道:PyCon 2016 · 时长:32:07 · 发布:2016-06-01 · 播放:48693

在 YouTube 观看

简介

Larry Hastings 解释了 Python 的 GIL 是什么、它解决了什么问题以及如何工作,并介绍了他的 Gilectomy 项目来移除它,包括性能和 C 扩展方面的障碍。

HN 为什么推荐

在 Python 性能讨论中,关于为何移除 GIL 很困难的默认参考。

我认为 Larry Hastings 的第一次 Gilectomy 演讲极具洞察力 — HN, 2017

Python、Ruby 与脚本语言 · 软件性能与优化 · 操作系统与内核

中文字幕节选

[掌声] (Larry Hastings) 谢谢。是的,这个演讲已经变了。 如果你在找我关于GIL的演讲,那不是这个。 这是一个关于移除Python的GIL的演讲。 感谢大家练习为今晚晚些时候的飞机做准备。 所以,作为这个演讲的前言,我想警告你们: 这个演讲将会非常技术性。 实际上,我被鼓励让这个演讲非常技术性, 由程序委员会。 所以我要谈论很多技术话题 而且我真的没有那么多时间来介绍它们。 所以,我假设你非常熟悉 或者至少对多线程的讨论感到舒适 以及从非常高的层次了解CPython内部。 我不会深入挖掘,但你必须理解 CPython内部的基本知识,比如引用计数。 如果你不熟悉这些东西,一个好的复习课程 或者介绍会是我之前的演讲, 叫做“Python臭名昭著的GIL”,再次, 我本来应该在这里讲的,但后来我们换了。 网上有那个的视频。所以让我们从 关于GIL的一点历史开始。GIL是在1992年添加的。 Guido想要添加对这个新事物的支持 操作系统开始做的,叫做线程。 他需要一种方法来保护全局和静态变量 在CPython内部,这样你就不会在多个线程之间出现竞争。 所以他在24年前添加了这个叫做GIL的东西。 让我们不要搞错,这是一个可爱的设计 它为我们服务得很好,有很多美妙的积极属性。 我不是GIL仇恨者阵营的。我认为那是—— 我认为GIL仇恨者有点被误导了。 所以让我们谈谈这个设计的影响。 首先,GIL非常简单, 这意味着它很容易正确实现,对我们来说容易 对CPython——C扩展作者来说也容易正确实现。 它没有死锁,因为只有一个锁。 所以你不能在两个锁之间出现死锁,因为没有两个锁。 它的开销非常小。你很少接触GIL。 如果你有单线程代码, 它运行得非常快,因为,再次,我们没有 任何同步开销,我们没有锁定和解锁。 你的代码只是运行,几乎没有开销,它确保了—— 它为你的代码运行得非常非常快铺平了道路。 如果你——如果你的程序是I/O密集型的 并且你使用多个线程,那么一切都很棒, 这实际上是线程的原始用例 因为计算机直到最近才开发出多核—— 或者至少,你知道,消费级硬件。 问题是,当然,如果你运行多个线程 并且你的程序是CPU密集型的,你就有点倒霉了。 GIL确保你的代码只会在单个核心上运行 一次,这在1992年没问题。 那时你很少看到多核计算机。 但在随后的24年里,世界在我们周围改变了。 所以如今,我们美妙轻薄笔记本电脑和手机以及手表 以及我们的眼镜都变成了多核。 我们生活在一个深度多核的世界,而Python仍然在做单核。 我家里有一个工作站,里面有28个核心。 比如,我想要多核的东西。但Python还没有准备好。 这实际上是一个评论,就在Python源代码中。 我的建议是,是时候考虑超越基础的线程支持了。 毕竟,你的计算机拥有所有这些美妙的资源 而Python能够利用所有这些资源……

HN 上的讨论

我觉得 GIL 在这一点上,是 Python 最臭名昭著的特点。很长一段时间里,我也认为它是 Python 最大的缺陷……但随着时间的推移,我越来越不关心它了。我认为首先需要认识到的是,单线程性能在有 GIL 的情况下通常比没有 GIL 时显著更好。我认为 Larry Hastings 的第一次 Gilectomy 演讲非常有见地(关于 GIL 的总体情况以及移除 GIL 后的性能):[VIDEO] 就个人而言,我不确定我会为了支持多线程应用而牺牲单线程性能。我把 Python 视为一种高级快速原型设计语言,非常适合业务逻辑和胶水代码。对于这类工作负载,我更看重单线程性能而非多线程支持。即使现在,一年后,Gilectomy 项目在性能上仍略有不足(尽管看起来非常非常接近了 :)):[LINK] 正如其他地方提到的,多进程为这类逻辑提供了足够的并行化。此外,协程和异步库如 gevent 和… — gshulegaard, 2017-08
David Beazley 有一个很棒的演讲(我不记得是哪一个了),他基本上解释了移除 GIL 一点也不难。毕竟,它只是一个锁。问题在于所有围绕它构建的库和包。现在已经是在 GIL 之上构建了多年。所以无论如何,PEP 703 是一个不错的努力,但我怀疑我们(普通人)能否享受到它。Meta 和拥有专门团队的大公司也许能够通过确保其整个技术栈无 GIL 来利用它。编辑:我的错,这个演讲来自 Larry Hastings:[VIDEO] — santiagobasulto, 2023-07
[VIDEO] 或者在 LWN 上搜索“gilectomy”。或者看看 stackless 等;事实证明,从技术上讲,移除 GIL 在历史上是彻底移除 GIL 中较容易的部分之一。听起来你的主要问题在于 Python 的 GC 模型。引用计数不一定是线程不安全的,但在脚本/解释型语言中,如果希望线程故事涉及无缝(即除非你想要,否则没有特殊语法,责任在你不要自毁)地在线程间共享状态,如 Python 和 Ruby,那么 GIL 或等效物是常态。有时它不像 Python 的那样侵入性强,但对于想要提供这种无缝性的语言来说,它似乎是一种必要(或至少非常可能)的实现模式。你可以在传统脚本语言中拥有线程安全的引用计数 GC,但这往往伴随着一个不那么自动的线程/并发 API。Perl 5 就是这一类的一个例子,而且它是用 C 实现的。 — zbentley, 2018-10
Larry Hastings - 移除 Python 的 GIL:Gilectomy - PyCon 2016 [VIDEO](我很确定这就是我想到的那个视频)时长 30 分钟,但如果你感兴趣的话值得一看。不确定此后取得了什么进展。 — pfranz, 2017-03
参见Larry Hastings在PyCon 2016上的演讲“移除Python的GIL:Gilectomy”。[VIDEO] 以及他早期的演讲“Python臭名昭著的GIL”。[LINK] GIL是一种简单的设计,为Python(最终用户)开发者提供了巨大的好处。有许多选项可以绕过它以实现并行性,例如内置模块multiprocessing。 — tedmiston, 2016-07

相关视频