深度学习硬件的趋势:Bill Dally(NVIDIA)

Trends in Deep Learning Hardware: Bill Dally (NVIDIA)

频道:Paul G. Allen School · 时长:1:10:57 · 发布:2023-11-12 · 播放:32613

在 YouTube 观看

简介

NVIDIA的Bill Dally在华盛顿大学做关于深度学习硬件趋势的讲座。涵盖数值格式、专用指令、每次操作的能耗以及硬件与软件的协同设计。

HN 为什么推荐

HN评论者引用它来了解NVIDIA对AI硬件效率的看法,包括对数数字格式和能耗。

在我看来是相当有趣的视频。 — HN, 2023

机器学习与深度学习 · 计算机体系结构与CPU · 大学讲座与课程

中文字幕节选

LUIS CEZE:好的,欢迎大家。 今天非常荣幸能在这里主持我们的杰出讲座系列, 邀请到 Bill Dally。 Bill Dally 是一位真正的计算机架构师。 他在学术界和工业界都构建过芯片。 他曾在 Caltech、MIT 和 Stanford 任教, 之后加入 NVIDIA 担任首席科学家和研究主管。 他在并行计算的众多技术领域做出了开创性工作, 你们今天很可能都在使用这些技术。 很高兴看到在当今的 AI 领域, 正是并行计算——使能 AI 的正是并行计算。 他是美国国家工程院院士—— 我得读一下这里,因为太长了,所以—— 美国国家工程院院士,AAAS 会士, IEEE 和 ACM 会士,并且 获得了所有主要的计算机体系结构奖项, 包括 Eckert-Mauchly 奖,这是我们在计算机体系结构领域的最高荣誉, 还有 Maurice Wilkes 奖, 以及 Seymour Cray 奖。 我会保持简短,这样我们就能听到他的演讲,这才是你们来的目的。 但有一件事我不会忘记提及, 那就是除了是一位杰出的计算机架构师、 成就卓著之外,他还是一名飞行员,而且他是自己开飞机来的。 这次他没有降落在水里,对吧? 你降落在陆地上。总之,好的,Bill,感谢你的到来。 非常高兴你能来这里。 BILL DALLY:谢谢 Luis。是的,很高兴来到这里。 现在对于计算机架构师来说是一个非常激动人心的时刻, 尤其是从事深度学习方面的工作。 我会尝试与大家分享一些发生的事情。 像现在大多数人一样,当我坐下来准备这个演讲时,我首先 只是让 ChatGPT 帮我做一个演讲。 这就是生成的文字稿。 那么什么会构建——实际上,首先,我 开始问,一个关于深度学习硬件的演讲应该包含什么? 它给了我一大堆完全胡扯的东西。 所以我说,好吧,这不对。 我不得不——这全是提示工程。 我不得不问,Bill Dally 会怎么谈论深度学习硬件。 这实际上会是一个像样的演讲, 但这不是我要讲的内容。 但我觉得那还挺有意思的。 如果你想更深入地了解—— 我一直喜欢在这些演讲中加入最新的材料—— 这是昨天《华尔街日报》上的内容,算是我 与该报记者的采访,关于我们如何 继续扩展深度学习,这实际上就是本次演讲的主题。 但我会比记者所能理解的 更深入一些技术细节。 顺便说一下,这是我们 Grace Hopper 超级芯片的照片。 左边是 H100 GPU,右边是 Hopper 多核 CPU。 实际上,它们合在一起是非常了不起的东西, 不过作为一个并行计算的偏执狂,那个 CPU 的主要目的 是为 GPU 提供更多的高带宽内存。 它是一个很好的内存控制器。 所以如果我们正在玩像今天大家都在用的大型语言模型这样的东西, 我喜欢认为它们真正在做的是 将数据提炼为价值,这实际上就是我们—— 计算机科学的主要目标之一就是做到这一点。

HN 上的讨论

在最近的一次演讲[1]中,Nvidia 的 Bill Dally 建议使用真正的对数,因为它们在相对误差上比浮点数更一致,这在 AI 中越来越多使用的低精度场景下尤其重要。这样乘法就变成了简单的加法,但加法就变得复杂了,因为通常需要查找表。这和计算尺的原理相同,也让我想起 Yamaha DX7 的工作方式。查找表可能很昂贵,演讲中包含了一个想法:在把大量乘法结果相加时(AI 工作负载中也经常如此)如何对它们进行批处理。[1]:[VIDEO] — raphlinus, 2024-01
看起来 Pat Gelsinger 和 Lisa Su 都对软件一窍不通,甚至连委派都做不到。他们指望“社区”为他们极其复杂的硬件开发软件。如果你看过 Nvidia 的 Bill Daly 的演讲[1],就会发现他们一直在软硬件协同演进。CUDA 编程模型在很久以前就是一场豪赌。他们赢得 ML/AI 是实至名归。除非 Intel 和 AMD 做出彻底改变,否则他们就完了。他们会输给 ARM 和 Nvidia。[1] [VIDEO] — alecco, 2023-12
取决于你把什么算作芯片生产的一部分。如果你把新指令及相关软件算作新的芯片生产,那么性能提升一直相当惊人。根据 Nvidia 的 Bill Dally 的说法,单芯片推理在过去 10 年里提升了 1000 倍[1],在 10 分钟处(可能不是原始来源)。根据视频,主要收益来自不同的数值类型(例如 fp16)以及更专用的硬件和更复杂的指令。注意,工艺改进只贡献了这 1000 倍中的 2.5 倍。他还提到,谷歌的 TPU 相比 GPU 中的专用指令没有根本性优势。我个人觉得这是个相当有趣的视频。[1]:[VIDEO] — huijzer, 2023-12
我刚看了一个 Nvidia 科学家的演讲,他在里面以 flops/joule 来谈论计算效率,并明确提到向量化指令是节能手段之一。我看看能不能找到它。编辑:找到了(我觉得)我不记得在演示的哪个位置,但他确实提到能效可以作为性能的代理指标。[VIDEO] 编辑 2:大约 26:40 他开始在性能的语境下谈论能耗。 — andy99, 2024-02
> 让我们用费米估算一下。我完全同意。费米估算被低估了。> 把这些乘在一起,你最终得到1.8e17字节,或180拍字节的数据。作为比较,NVIDIA的Bill Dally估计GPT-4大约有10^12或10^13个token [1]。让我们假设大约每个token一个单词,每个单词5个字符。此外,US-ASCII token在UTF-8中每个字符需要一个字节。所以,这大约给出40拍字节。顺便说一句,我猜如果你能全部数出来,GPT-4知道更多的“东西”。例如,它知道更多的语言,更多关于城市的事实,更多关于人的事实。然而,人们在自己的专业领域内知道的多得多。[1]: [VIDEO] — huijzer, 2023-11

相关视频