HC2023-K2:深度学习硬件
HC2023-K2: Hardware for Deep Learning
频道:hotchipsvideos · 时长:1:05:27 · 发布:2023-09-13 · 播放:14884
简介
NVIDIA的Bill Dally在Hot Chips 2023上发表主题演讲,探讨为深度学习构建硬件的挑战。他追溯了GPU如何被改造用于机器学习,尤其是训练。
HN 为什么推荐
HN指出它提供了内部视角,说明为什么NVIDIA的AI收益来自设计而非工艺,以及数据移动的功耗成本。
整个演讲非常精彩,值得一看。 — HN, 2025
中文字幕节选
欢迎来到 Hot Chips 2023。 第二场主题演讲。深度学习硬件。 呃,Bill 在整技术栈都有涉猎。 嗯,非常多产,而且呃,成功, 成就卓著的研究科学家。 他在并行计算架构、网络、 互连、路由方面做出了开创性工作,呃,整个技术栈。 呃,他几乎获得了作为计算机架构师能拿的所有奖项, 比如 Morris Wilkes 奖和 Eckert Mauchly 奖。 他是 ACM 和 IEEE 的会士,并为美国总统提供咨询。 所以,嗯,我想我们都见证了 Bill 带来的巨大影响,尤其是在 去年 ChatGPT 出现之后,这些技术如果没有 Bill 的工作 是不可能实现的。呃,他也是技术转化的绝佳典范。 他基本上把在斯坦福和学生们一起做的流处理器工作, 在 15 年内变成了全球第六大 市值公司。所以,闲话少说,呃,Bill,请上台。 谢谢。这个麦克风能用吗? 那么假设呃,是的,麦克风似乎能用。 所以,嗯,在座的各位可能没有人没花上 大半个周末玩 ChatGPT,问它问题,让它给孩子们 写故事,嗯,诸如此类。 嗯,所以当我必须做这个演讲时,我坐下来,在 ChatGPT 里输入,嗯, 你知道,“给我讲讲深度学习硬件。” 它说了一堆关于 GPU 和 TPU 之类的非常愚蠢的东西。 我意识到,ChatGPT 的关键在于给出正确的提示。 然后我写了提示:“Bill Dally 会怎么谈论深度学习 硬件?”实际上,提示在这里。 “Bill Dally 会怎么谈论深度学习硬件的方向?” 它实际上给出了一个相当不错的大纲。 所以我非常 impressed。 嗯,如果你想想,你知道,ChatGPT 在做什么,我实际上 在这里向一位老兄,Lujan 参议员,解释了大型语言模型如何工作。 它们只是预测下一个词。 但它们以非常准确的方式预测下一个词。 在这样做时,它们做的是一个蒸馏过程。 而且,我来自东田纳西的山区,我对蒸馏非常熟悉。 我们拿很多玉米之类的东西,放进去,威士忌就出来了。 现在,在这种情况下,你知道,我们做的是把原始数据,大量的 数据,通常是一万亿词或更多,嗯,你知道,分解成 你知道,token,通常大约每个词两个 token。 嗯,我们,你知道,训练一个呃,呃,呃,嗯,哎呀,让我们回到上面。 我们训练一个,这是激光。 我们训练一个呃,通用模型。 这就像,你知道,送你的孩子去接受文科 教育。它有点了解一切,因为它是在这个 巨大的语料库上训练的,你能从互联网上抓取的一切。 有些东西你可能宁愿它不知道,这可能导致一些 不幸的答案出现。 但真正要让这些模型有价值,我们然后针对特定应用的特殊数据 对它们进行微调,无论是编码、提供医疗建议,你知道, 教育,你知道,写作,无论什么应用。 然后这个模型在这个特定任务上变得好得多。 嗯,再次,我们在这里做的是蒸馏这些数据,以便 最终当我们做推理时,我们做一个查询,然后得到一些输出。
HN 上的讨论
神经形态计算已经被炒作了大约20年。到目前为止,它的表现远远低于预期,至少相对于炒作而言是这样。这篇文章没有区分训练和推理。谷歌Edge TPU [LINK] 每个能够每秒执行4万亿次操作(4 TOPS),功耗仅为2瓦——即每瓦2 TOPS。因此,推理已经比论文中归因于大脑的20瓦更便宜。诚然,LLM训练很昂贵,但养育一个孩子20年也是如此。与孩子不同,LLM可以共享权重,并摊销训练的能量成本。神经形态计算的另一个核心问题是,我们目前对大脑如何产生智能还没有任何有意义的概念,因此声称我们可以复制这种机制似乎有点为时过早。以下是Nvidia首席科学家B. Dally(现代GPU架构的主要开发者之一)关于这个主题的说法:“我不断接到那些声称在做神经形态计算的人的电话,他们声称这有什么神奇之处,因为这是大脑的工作方式……但这真的更像是通过给飞机装上羽毛并扇动翅膀来建造飞机!”来自“Hardwa… — Footpost, 2025-06
我认为你最大的错误是忽视了运行在硬件之上的软件数量。过去有些时候,其他厂商拥有更高的 FLOPS,但这并没有动摇 CUDA 的使用。我对科技领域(以及其他领域)任何事物的标准假设是:你不能仅靠第一性原理取胜(“并行设计已被充分理解”)。正是细节让你脱颖而出。Bill Daly 几周前在 Hot Chips 上做了一个精彩的演讲,解释了 Nvidia 的 AI 性能只有一小部分来自制程改进。其余部分来自更聪明的做法:矩阵稀疏性、不同的数值表示等等。[VIDEO] — tverbeure, 2023-10
Hot Chips 主题演讲中提到——[VIDEO]——被移动的数据所消耗的功耗大约是本地数据的 100 倍。关于中间数据,你说得很有道理。这不会适用于所有算法。 — gdiamos, 2024-09
相关视频
- 拯救旅行者1号!- Bruce Waggoner 在 !!Con 2024 · !!Con · 35:25
- 快速傅里叶变换(FFT):史上最巧妙的算法? · Reducible · 28:23
- 神经网络和反向传播的详细入门:构建micrograd · Andrej Karpathy · 2:25:52
- 但什么是神经网络?| 深度学习第一章 · 3Blue1Brown · 18:40
- 8 位计算机更新 · Ben Eater · 6:53
- 遥遥领先 | 1969 年的阿波罗制导计算机 · TNMoC · 1:21:22
- 在 6502 上从零开始实现“Hello, world” — 第 1 部分 · Ben Eater · 27:24
- AlphaGo - 电影 | 完整获奖纪录片 · Google DeepMind · 1:30:28
- Transformer,LLM 背后的技术 | 深度学习第 5 章 · 3Blue1Brown · 27:14
- 寻找缺失的忆阻器 - R. Stanley Williams · The Qualcomm Institute · 47:52
- 终极 Game Boy 演讲 (33c3) · media.ccc.de · 1:01:06
- USENIX Security '18-Q:为什么主题演讲者不断建议改进安全性是可能的? · USENIX · 51:22
- 三千万行代码问题 · Molly Rocket · 1:48:55
- 第一讲 | 机器学习(斯坦福) · Stanford · 1:08:40
- MarI/O - 视频游戏机器学习 · SethBling · 5:57
- 深入探讨 ChatGPT 等 LLM · Andrej Karpathy · 3:31:23