Andrew Kelley:面向数据设计(DoD)的实用指南

Andrew Kelley: A Practical Guide to Applying Data Oriented Design (DoD)

频道:ChimiChanga · 时长:46:40 · 发布:2024-07-13 · 播放:420187

在 YouTube 观看

简介

Zig 的创造者 Andrew Kelley 介绍了实用的面向数据设计技术,用于缩小内存占用并使程序对缓存友好。最后以案例研究展示了这些想法如何加速 Zig 编译器。

HN 为什么推荐

HN 将其列为面向数据设计的最佳演讲之一,将结构数组和紧凑数据布局应用于真实编译器。

对于任何好奇的人来说,两场最著名的面向数据设计演讲是很好的 SoA 入门 — HN, 2026

C、C++、Rust、Go 与系统语言 · 软件架构与设计 · 软件性能与优化

中文字幕节选

谢谢,呃,标题幻灯片,好的,我是 Andrew Kelly,我是 Zig 软件基金会的主席兼首席软件开发者,呃,感谢 来参加我的演讲,那么,呃,第一件事,呃,我 指到哪儿了 按 Go 按钮没反应,不,我们遇到了 技术问题,哦,好的,我用力长按一下,好了,呃 是的,只是想跟你们简单讲讲我的背景,呃,我相信对 很多人来说都很熟悉,呃,我很小的时候就对游戏产生了兴趣 呃,但我父母给我定了个规矩,我每天只能玩 电脑或电视或电子游戏 1 小时,不管是什么,就 1 小时一天,然后我就被赶走了,所以不用说,我变得非常狡猾,呃 我的第一款游戏是呃《刺猬索尼克 2》Sega Genesis 版,所以这总是在我 心中有个怀旧的位置,呃,但我最喜欢的游戏是那些你可以 自己制作东西的,有人记得《托尼·霍克职业滑板 2》吗?他们有那个 关卡编辑器,对吧,那玩意儿太酷了,你可以自己做 关卡,你可以放起点之类的,呃,你甚至可以自己做 间隙,给它们命名,给它们分数,然后你可以和 朋友本地多人玩,呃,玩 HORSE 和 tag 之类的,超级酷,所以当 我发现呃编程时,就像终极游戏,对吧,就像做你 自己的游戏,那是终极权力,所以是的,然后我进入了 Visual Basic 6,我仍然非常 喜欢这个,对吧,你打开程序,然后就像任何其他当代 程序一样,它给你一个新文档 Form1,就像它会看起来的样子,它 就是在求你在上面拖一个按钮,让它做点什么,对吧,呃,所以 你知道,随着我呃进步,你知道,我学了其他语言,学了 Perl、Python、C++、C,是的,我学它们的顺序是错的,呃,就像每个人 一样,然后呃,每次我看我自己的代码,即使只是像一周 前的,我总是觉得它看起来像垃圾,我会说,是的,我一周前写的 代码,是垃圾,我一周内学了这么多,对吧,那就是我 大概 10 年的经历,你知道,每次我看我的旧代码,我都想,我知道我 怎么做得更好,但然后它停止了,对吧,在你知道大约 10 年的 经验之后,我开始写代码,然后回去看我的旧代码,我 想,是的,你知道,差不多吧,如果我现在做,基本上会 用同样的方式,就像我真的看不到我能做的任何改进,所以呃,你知道,部分 那整个过程的一部分是,你知道,学习,哦,面向对象编程, 他们教我们的不太对,就像你知道,你学自己的方式,你知道,但 我仍然停滞了,对吧,在某个时候我遇到了这个平台期,呃,但然后有些 事情发生了,它又开始发生了,我现在正处于这个阶段, 我看着四个月前写的代码,我又看到了垃圾,我越过了 平台期,对我来说那就是学习面向数据编程,所以为了达到这里, 呃,你知道,我在 YouTube 上看了一堆演讲,呃,那是一个相当著名的, 事实上,让我在这里花一点时间,我想,我要做一个关于数据 导向设计的演讲,我想我最好呃 [掌声] 是的,感觉对了,感觉对了,好的,总之,是的,为了达到这里,我

HN 上的讨论

对 SoA 的一个很好的入门(给任何好奇的人)是两场最著名的面向数据设计演讲,分别来自 Mike Acton(游戏引擎开发者)[1] 和 Andrew Kelley(Zig 首席开发者)[2]。我读过一本关于 DoD 的书 [3],一开始真把我搞糊涂了,里面全是在讲数据库表设计(在一本关于高性能 C++ 游戏引擎的书里?),但当它终于让我恍然大悟时,那感觉太棒了。关键在于,你要认真思考你的访问模式,以及什么能构成好的“主键”,然后据此建模。SoA 最终在很多时候都很有用,因为把数据放在同构的数组/向量里对缓存局部性和分支消除非常有利。即使没有 SIMD,你也能从中获得巨大的加速,但这也正是你的编译器(或者作为程序员的你)能获得惊人 SIMD 收益的地方。SoA 不是银弹,因为它可能和你的访问模式不太契合,但把它加入你的工具箱会很棒。--- Mike Acton:面向数据设计与 C++:[… — Rendello, 2026-07
SoA 不是什么新东西。不明白为什么还需要讨论……总之,这里有几个值得一看的视频:[LINK] [VIDEO] Odin 也原生支持 SoA [LINK] — gethly, 2026-01
我最近花了大约一周时间为我的项目写了一个库。代码量不大,但很难理清数据模型、我想要的 API 长什么样,以及我到底想在另一端渲染出什么。跑通之后我很自豪,但当我不得不拿几十个文件跑它时,它慢得可怕。我平时不太写热路径代码,所以这次不得不做性能分析、把它优化到高效,反而让我很兴奋。我决定重写整个系统,因为我的心智模型已经改进了,而且代码做了太多它本不该做的事。过去几天我按照面向数据设计重新设计了它。我正试着把实际耗时降低一个数量级以上。我不确定最后会是什么结果,祝我好运吧 :) 既然我提到了 DoD,下面这三个链接大概会出现在讨论里:Mike Acton 那场著名的性能演讲:[LINK] Zig 编译器中的 DoD:[VIDEO] DoD 那本书:[LINK] — Rendello, 2025-10
这让我想起了 Mike Acton 关于面向数据设计的精彩演讲:[LINK] 还有一个相关的演讲,是 Andrew Kelley 在 Zig 工具链上实现这些想法:[VIDEO] — iamcreasy, 2025-07
那个演讲很棒,但我记得后来有一些讨论说 Go 实际上并没有使用这种技术,因为 goroutine 调度开销和/或低效的内存分配模式?我能找到的最好的讨论是 [1]。另一个关于制作高效词法分析器和解析器的精彩演讲是 Andrew Kelley 的“面向数据的实用设计”[2]。摘要:“它解释了可以用来减少程序内存占用,同时使程序对缓存友好从而提高吞吐量的各种策略”。-- 1: [LINK] 2: [VIDEO] — emmanueloga_, 2024-11

相关视频