如何将 Python 程序提速 114,000 倍。

How to Speed up a Python Program 114,000 times.

频道:InfoQ · 时长:59:11 · 发布:2012-12-05 · 播放:170646

在 YouTube 观看

简介

David Schachter 描述了他如何凭借数十年的经验,使一个数据收集 Python 程序运行速度提高 114,000 倍。演讲涵盖了流水线、缓存效应和其他优化经验。

HN 为什么推荐

HN 上最受欢迎的科技演讲之一,展示了硬件知识和通才技能胜过简单地增加机器。

幽默、严肃的技术见解,并很好地提醒了为什么成为通才是一种优势。 — HN, 2016

Python、Ruby 与脚本语言 · 软件性能与优化

中文字幕节选

[音乐] 今晚演讲的结构相当直接,我将要 谈论我们遇到的问题、为解决和实现该方案而选择的算法, 但它运行得太慢,然后有两组不同的 解决方案,第一组在2011年完成,第二组在2012年。我说“我们”主要是 因为我有 绦虫,嘿,现在是一个透明的宇宙,你无法隐藏任何东西。我的医生 相当不高兴,因为我是他办公室里唯一还在用纸质的医疗记录, 其他一切都已计算机化。我说我知道这是怎么回事,让我继续用纸质吧,呃, 然后我们会讨论未来的步骤,更多可以加速 程序的事情,本次演讲的后半部分将是经验教训。我 总是认为花几分钟从错误中学习是值得的,这样 你就能再次犯同样的错误。我们面临的问题是一个相当 直接、在这类企业中常见的问题。正如我所说,我们销售 游戏,我们并不真正销售它们,我们主要是免费赠送,我们的游戏 非常有趣。我们公司有一大堆人知道如何制作 有趣的东西,我们是一家娱乐公司,这是我们在内部所做的。我们有一个 不同于单纯有趣的乐趣定义。我们有一大堆关键绩效 指标,告诉我们游戏有多有趣,我们调整它们使游戏 越来越有趣,或者我们在调整游戏使其更有趣时测量它们,以弄清楚 如何调整游戏。我们在所有游戏中提出数百个问题, 为了从大量噪音中获取微小信号,我们必须收集海量 数据。数据从我们的服务器收集,关于我们的客人如何玩 游戏。我们不收集任何用户计算机上的侵入性数据,我们只在 服务器端收集数据。对于这数百个问题中的每一个,我们将 取我们拥有的所有这个巨大数据集,并创建该数据的500个合成变体, 然后进行一个我仍然不理解的特定计算, 其结果就是问题的答案。我们有数亿 行数据,所以这是一个经典的大数据问题。我觉得用“经典”这个词来形容一个只有几年历史的东西有点傻, 大数据的概念, 但技术发展迅速。去年年初,我们有一个原型,由 我们的首席分析师编写,他非常擅长统计,但编程不太行, 没关系,我也做不了分析师的工作。我在大学学习统计时, 我们还在用罗马数字,试试用罗马数字做平方根。最好的 语言顺便说一下是intercal,如果你没玩过intercal, 现在是个学习它的好时机。所以程序运行正确,但 仅对于处理的一个子集,它花费的时间远远超过了我们可用的批处理窗口。 最佳情况下批处理窗口是4个半小时,经常少于 那个,所以显然我们需要一个更好的解决方案,这个图表停在今年3月, 因为正如我所说,我喜欢保住我的工作,但你可以看到我们有更多 更多数据进入这个程序,所以我们有更多问题被提出,对于每个 问题,答案每晚都从所有曾经收集的数据中重新计算, 这不是一个好主意。我们每晚都在获取所有数据, 而且数据量也在增加,所以我们有一个问题,你可以看到 问题所在。顺便说一下,这是算法的核心,如果你 想知道为什么我老是停顿,我不是在模仿威廉·夏特纳,只是我完全不知道 我在说什么。不是每个笑话都是赢家,有些 好有些坏。所以这是基本算法,这看起来像Python,实际上是

HN 上的讨论

《如何将 Python 程序提速 114,000 倍》——[VIDEO] 幽默、严肃的技术洞见,并且很好地提醒了为什么做一个通才是一种优势。 — anoother, 2016-10
我还以为这会是《如何将 Python 程序提速 114,000 倍》[0]。这是一场长达一小时的演讲,但相当令人愉快。在演讲的例子中,与其说是了解计算机科学算法,不如说是了解现代计算机体系结构如何工作的细节,但教训是一样的:有时计算机科学学位的背景知识是有用的。他也有同样的观点:要优化我们的代码,而不是仅仅增加越来越多的机器。[0] [VIDEO] — lkbm, 2020-10
从技术上讲,这只在流水线架构上有效,而所有主流 CPU 架构都属于此类。在以下条件全部成立时,你将能看到显著的性能提升:* 各行之间没有信息相互依赖 * 你的所有数据都在缓存中 * 两行之间没有生成的指令需要某种操作数转发。基本上,如果你已经把东西放在缓存里,计算与上一次计算无关,并且你有一个支持它的处理器,你就会看到大幅的速度提升。有一场很棒的演讲谈到了这一点 [0](要看确切时刻请跳到 [1])。如果你有兴趣进一步了解,我非常推荐去找一门好的计算机体系结构课程。幸运的是,现在我们有一个极好的资源来找到这类课程 [2]。这看起来像黑魔法,许多程序员拒绝承认它的存在。看看 `dreta` 的评论就能看到一个例子。现在我同意 dreta 的看法,这非常依赖架构,但大多数架构都会从这种优化中受益。几乎所有现代 Intel 和 AMD CPU 的缓存都足够大,它们支持足够大的缓存,而且底层也都… — gravypod, 2016-12
> 我记得我最近看过一位行业专业人士的讲座,他把一个 Python 算法分部分地改进了 100 000 倍。也就是说,他分阶段解释了如何利用那台特定机器上的硬件,把算法改进到令人难以置信的程度。有人有链接吗?我猜是这个:[VIDEO] — lmc, 2022-05
“向内扩展”的一个例子是这场演讲,《如何将 Python 程序提速 114,000 倍》:[VIDEO] — dmoney, 2015-01

相关视频