Emery Berger 的“性能至关重要”

"Performance Matters" by Emery Berger

频道:Strange Loop Conference · 时长:42:15 · 发布:2019-09-15 · 播放:502235

在 YouTube 观看

简介

Emery Berger 解释了为什么在现代硬件上衡量和实现性能很难,展示了代码布局和对齐如何淹没优化效果。他介绍了用于统计上可靠评估的 Stabilizer 和因果分析器 Coz。

HN 为什么推荐

对于任何因微小代码改动导致无法解释的基准变化而感到困惑的人,以及学习因果分析的人来说,这是标准推荐。

这是我见过的最令人惊叹的优化信息 — HN, 2020

软件性能与优化 · 测试、调试与开发者工具

中文字幕节选

大家好。呃,我是Emery Berger。 今天我要讲的是性能至关重要。 呃,这是我和我以前的学生Charlie Krsinger合作的工作。 我要讲一个不久前发生在遥远山谷的故事。 不是这个山谷,实际上是这个。 呃,故事是关于一个我们称之为Luke的角色。 Luke是我们的英雄。当然,在硅谷他是英雄,因为Luke有一个应用的想法。 好的。这是Luke的天才应用想法。 基本上,你用智能手机拍下东西的照片,然后它 去找匹配项并返回给你。 他还给它起了个好名字。 他打算叫它Oggle。 呃,他确信Oggle会彻底颠覆图像搜索。 还没人告诉他Google Image Search,但不管怎样。 于是他开始构建它。 他做了Oggle的原型,对吧? Oggle原型是这样工作的。 你拍一张照片,它被发送到Oggle数据中心。 如果是新的,它会被添加到数据库,同时它去 找到相似的图片并发送回用户。 对吧?这很直接。 你可以抽象出这个流程。 如果你这样想,你收到一个请求。 请求进来。它基本上生成两个线程。 一个去拿图像,比如说压缩它,然后保存 到3.5英寸软盘,就像人们做的那样。 同时它做一些索引来查找匹配,对吧? 所以在做一些特征提取后进行搜索,然后通过纸飞机发送回 用户,这是人类已知最有效的方法。 然后最终这两个线程汇合。 对吧?这显然是一个简化。 我省略了一些东西,比如呃,当你有锁的时候,对吧,有 一些数据库,例如你不能同时修改数据库,等等, 等等。但不管怎样,这基本上就是Ogle的高层工作 方式。所以呃,Luke把它发布到App Store,它被批准了,你 知道用户开始来了,呃,Ogle在工作,对吧? 他在颠覆图像搜索。 呃,但随着用户数量增加,呃,Ogle开始 变慢,对吧?所以Ogle加载需要很长时间。 对吧?这太糟糕了。 呃,他对此不高兴。 呃,他不太确定该怎么做。 但在我们深入之前,让我谈谈呃另一个版本的Luke。 这也是Luke。这是酷手Luke,如果你愿意,呃,戴着他的眼镜。 对吧?但实际上这是80年代的Luke。 对吧?所以他戴着80年代的眼镜,当然呃,那些年纪 够大知道或者看过电视的人知道80年代没有智能手机。 取而代之的是带有大CRT的电脑。 呃,这就是80年代Ogle的样子。 呃,所以你会看到一些ASCII艺术,你想出去,它会通过一些 调制解调器连接,比如说,呃搜索数据库。 这是Ogle 84的1.0版本。 呃,它给出匹配结果,这就是你的用户界面。 希望你喜欢。对吧? 当然,回到1984年,呃电脑真的很慢,对吧? 真的很慢。呃,所以实际上你知道今天的Luke,就像Ogle太 慢,天哪,1984年的事情真的很糟糕,对吧? 但事实证明,事情在某种程度上也更好。 所以性能曾经真的很简单。 我相信你们都见过这种图。 呃,我要展示的是左边的晶体管数量,呃,随着年份

HN 上的讨论

现在不应该再有人这样进行基准测试了。在现代计算机上,代码的内存布局对性能有巨大影响,如果不消除这个变量,测量性能会导致徒劳的追逐,你以为你改进了什么,但实际上你只是偶然让编译器移动了代码。Emery Berger 有一个很好的演讲[1],以及他们开发的一个名为 Coz[2] 的因果分析器。分支预测错误可能对此有些不变,但演讲的主要观点之一是人们做了太多的目测统计,将底层随机过程的方差误认为是实际信号。Coz 在 Zig 中设置也相当简单。1. [VIDEO] 2. [LINK] — j-pb, 2023-06
我强烈推荐 Emery Berger 的演讲 [1] 给任何对软件基准测试感兴趣的人。huayra 提到的内存中的对齐和代码布局对性能有着惊人的巨大影响。[1] [VIDEO] — acidbaseextract, 2020-12
顺便说一句,这是我见过的最惊人的优化信息:[VIDEO] 不幸的是它是一个视频……总结:现代 CPU 有如此多隐藏的性能变化原因,以至于你需要特殊工具来实际测量小的性能提升。他使用他们开发的因果分析工具在 SQLite 中发现了一个惊人但不明显的加速。以及 -O2 和 -O3 之间令人惊讶的差异,暗示了过拟合。 — robocat, 2020-05
我还没有机会深入研究它,但 coz-profiler [1] 基本上使用了相同的想法,但反过来(即,减慢其他所有东西以获得“虚拟加速”),这有助于量化优化某些代码的效果。我从 Emery Berger 的演讲 [2] 中了解到这个工具(在 strangeloop 上),我强烈推荐。即使在这个工具之外,也有很多非常好的见解。[1] [LINK] [2] [VIDEO] — jaybosamiya, 2020-01
Emery Berger 在 StrangeLoop'19 上的“性能至关重要”是一个很棒的演讲 - [VIDEO] 此外,他的其他演讲也很有趣: - [LINK] - [LINK] — divan, 2019-12

相关视频