理解 Python GIL

Understanding the Python GIL

频道:David Beazley · 时长:46:09 · 发布:2012-02-03 · 播放:127808

在 YouTube 观看

简介

David Beazley 在 PyCon 2010 的演讲解释了 Python 全局解释器锁的工作原理,并展示了多线程代码由于锁竞争和上下文切换开销而运行得更慢的实验,即使在更多核心上也是如此。

HN 为什么推荐

理解 GIL 的经典推荐,既因其清晰性而受赞誉,也因其对深层技术主题的出色解释。

我最喜欢的例子是 Beazley 的 GIL 演讲 — HN, 2014

Python、Ruby 与脚本语言 · 软件性能与优化

中文字幕节选

呃,希望大家已经准备好听这场关于GIL的重磅演讲了,呃,我是Dave 呃,我们在这场演讲中要做的是,呃,我我假设你们中有些人知道 Python有这个全局解释器锁,有几个人听说过,呃,我 我觉得应该有一个像import this对应的模块,这就是那个 你知道的,你不该谈论的东西,你知道,而 GIL可能就在那个列表上,所以呃,GIL的大问题,人们知道它 限制了线程性能,因此它成了你 偶尔在新闻组、博客之类地方看到争论的源头,呃, 所以在这场演讲中,我们要来谈谈它,呃,为了介绍这场演讲, 我想先展示一个演示,只是为了说明我为什么对它感兴趣,呃, 我要开始的是,这只是一个愚蠢的程序,它只是在一个 单线程中进行一堆计算,基本上,所以这是一个小小的倒计时 呃,程序,它顺序执行5000万次迭代的某个任务,呃,我 只是计时看看会发生什么,呃,如果你运行它,呃,大约花了 大约5秒,我今早测试的时候,好了,所以5.4秒,呃,而 有人可能会倾向于把工作分散到线程中,我的意思是这是一个 常见的并行编程想法,你知道,你拿一堆工作 你只是把它分到两个不同的线程中,呃,然后你希望它运行 快一倍,现在呃,因为全局解释器锁,我的意思是这里的人 可能知道,嗯,它不会快一倍,它可能运行 也许同样的速度,而事实证明这样做的结果 实际上有点令人惊讶,所以如果你运行这个,呃,这个并行版本的代码 它需要一点时间,呃,大约10秒,如果你 对线程有点了解,那不是你想看到的结果,我 意思是,好吧,两个线程,呃,慢了一倍,呃,然后事情变得真的 呃,事情变得非常奇怪,呃,所以我不知道你们Mac用户是否知道这个, 但是有一个,呃,有一个偏好设置你可以安装来禁用你的 一个处理器,它实际上随Xcode一起提供,所以它不是 通常安装的,但是有这个工具,你可以去那里说,好吧, 好吧,禁用我笔记本电脑上的一个核心,呃,如果你这样做并运行 同样的线程测试,你会得到这个真的,呃,有点惊人的结果,所以我们将 我们会看看这里会发生什么,呃,好了,所以它运行得稍微快一点,当其中一个 呃,其中一个核心被禁用时,呃,然后我有这个,就像这是我的 特殊的Python,呃,这个版本,我测试一下,呃,如果你写一个Python程序, 这是spin.py,它所做的只是循环,一个while循环,呃,如果你 写一个线程代码的版本,所以这是一个新版本,我做的第一件事 是启动一个spin作为子进程,然后我启动两个线程并做 和之前一样的事情,所以如果我运行那个,所以记住这就像两个 线程和一个无用的子进程在敲打其中一个,呃,另一个核心,呃,让 我们看看这里会发生什么,它运行得更好,好了,所以 呃,是的,那就是,呃,所以把这个带到你的下一次 代码审查中,你知道,就像我,我有这个,这个性能 优化的想法,呃,所以这场演讲基本上是关于,到底什么鬼 发生了,呃,所以我们要看看全局解释器锁,我们将

HN 上的讨论

“这样的演讲的意义在于,拿一段演讲者深入理解的代码,帮助他们让观众理解核心思想……”我确实从中获得了很多价值。我最喜欢的例子是 Beazley 的 GIL 演讲:[VIDEO] — famousactress, 2014-01
我不是专家,这可能过时了,但历史上 GIL 和操作系统调度的线程之间会引入“抖动”,这有令人惊讶的性能影响。David Beazley 比我更好地说明了这些细微差别:[VIDEO] 包括一个疯狂的现象:一个多线程 Python 程序的性能可能会因为系统可用 CPU 核心数的增加而下降。协程通过不需要操作系统进行单独的线程调度来避免这种情况。因此,它们像线程一样在 IO 时有效地释放 GIL,但避免了操作系统级别的线程切换。 — gshulegaard, 2022-08
David 可能不是最适合的人选。但这里有一个关于 GIL 的著名演讲。[VIDEO] 不过要小心,他的演讲以对程序员造成毁灭性打击而闻名,导致严重的头部受伤、创伤、头痛和其他有趣的事情。 — devxpy, 2018-07
“我实际上从未真正抽出时间来学习——甚至思考过!——GIL 到底是什么” David Beazley 在解释 GIL 方面做得很好。YouTube 上有他多个关于 GIL 的演讲视频。比如这个:[VIDEO] 他有一个关于这个的页面在 [LINK] — Luyt, 2013-06
2010 年有一个 GIL 演讲 [1],显示 Python 3.2 在单 CPU 机器上比在双核上更快。总之,在某些情况下,无 GIL 的 Python 在单核上可能更快。[1] [VIDEO] — rvanlaar, 2023-10

相关视频