Jim Keller - AI芯片时代的摩尔定律
Jim Keller - Moore's Law in the age of AI Chips
频道:Matroid · 时长:31:05 · 发布:2020-04-20 · 播放:33363
简介
Jim Keller在2020年Scaling Machine Learning会议上关于AI芯片时代摩尔定律的演讲。他比较了标量、向量和GPU风格的并行计算方法。
HN 为什么推荐
在硬件讨论中被引用为Keller关于不同并行处理方式的演讲。
Jim Keller最近有一个有趣的演讲[1]关于并行处理的方式 — HN, 2020
机器学习与深度学习 · 计算机体系结构与CPU · 科技先驱与访谈
中文字幕节选
他们其实没告诉我我要讲AI芯片,直到我听说时,这对我来说是个新闻 那会很有趣,我没告诉他们标题,所以昨天我被告知他们 把它印成了TBD,我觉得那是个很好的标题,然后 早上我发现它是待宣布的意思,所以我在这里追赶进度,我会尽我 所能,但大家都知道TBD是什么意思吧,就是待 确定,对吧?我一直在谈论摩尔定律,读了 特斯拉和我一起,她做了一个关于技术乐观主义的演讲,因为很多 人因为复杂的原因认为存在复杂性墙,摩尔定律 已死,我们无法扩展,我在伯克利做了一个演讲,教授们都问我 你能说服人们计算机科学和晶体管有未来吗,这样 他们就不会把所有时间浪费在AI软件上,因为如果有人说 顺便说一句,摩尔定律已死,计算机架构创新已经结束, 而你是个大学生,你会进入那个领域,好像那不会发生,但 这真的是一个有趣的领域,所以当我们给你讲一个小故事,然后 在某个时候,我希望取笑每个人,所以大家都准备好了吗?我确实知道 我是午餐幻灯片之后的时段,但我在第一个就知道了,所以我是 午餐后嗡嗡声的热场演讲者,所以我们开始吧,我真的很喜欢这个 引用,你知道,对于所有的架构发展,真正推动 AI研究的是计算力不断强劲增长,我有一个理论关于 为什么这是真的,有很多人绘制这样的东西,所以尽管 晶体管性能和CPU性能在放缓, 但提供给AI的计算量继续快速增长,所以 当我加入英特尔时,我有点惊讶地开始阅读关于 摩尔定律的头条新闻,就像字面意义上,告诉我们摩尔定律公司,我加入 它是因为我真的是一个信徒,要么这是一个非常糟糕的职业选择,要么 不知何故它不是真的,所以我开始谈论它,然后不久之前我收到了 这个小消息 那是一条刻薄的推文,之后你打算怎么办?我在家待了 几天,但我正在克服它,但我真的在试图弄清楚这一点 因为这不仅仅是这个可怜的混蛋在一家CPU公司工作,他们 将从摩尔定律中驱动更多性能,但这些家伙,我完全 不理解,比如GPU几乎是摩尔定律的消费者,对吧,就像摩尔 定律输入,GPU输出,对吧,那就是大卫·帕特森,一个 聪明的人,他的整个职业生涯都在计算机架构革命上,由 摩尔定律驱动,所以然后我有了这个,我昨晚做了一个梦,我有了这个小小的 愿景,所以这些家伙在塔上,在视频结尾的GPU工厂, 对吧,有人告诉他们我们没有摩尔定律了,他们说太好了,我不 认为那会发生,对吧,每个人都同意那会很疯狂,就像如果你 是一个小摩尔,你知道,如果你消费字面意义上的摩尔定律晶体管输入,所以 我只想告诉你几件事,所以回到摩尔定律晶体管 矿,就像我们中的一些人,这里有任何晶体管人吗? 1 2 3 4 5,耶,有人知道AI计算机是 由什么制成的吗?那个问题回答得更好,好吧,所以这就是我们 相信的,对吧,摩尔定律是每两到三年晶体管数量翻倍, 它由一大堆东西驱动,晶体管架构, 材料,我们做了FinFET晶体管,我们光学缩小东西,我做了几个演讲
HN 上的讨论
Jim Keller 最近做了一场有趣的演讲[1],讲的是如何更好地利用我们拥有的数十亿晶体管来做并行处理——前提是任务可并行化。有标量核心(也就是基本 CPU),相对容易编程。然后是带向量指令的标量核心——很难高效编程。再然后是由标量核心组成的阵列,也就是 GPU,所以又相对容易编程了,而现在有很多初创公司在做由标量核心组成的阵列,每个核心都带向量引擎,所以预计会是最难编程的。他没有深入讲为什么向量指令难以高效使用、也难以让编译器作者处理,但如果这里有人能解释一下,我会很感兴趣。1. [VIDEO] — tails4e, 2020-07
那个链接里的孔洞图案技术(MURA)也被用于 IC 制造中的紫外光刻(示例:[VIDEO])。 — metrognome, 2020-12
Jim Keller 在 Berkeley 关于摩尔定律的演讲,[LINK] 还有另一个 [VIDEO] 还有另一个 [LINK] DEC、PA Semi、Apple、AMD、Tesla、Intel。他到处都待过。[LINK] 内部公告备忘录:[LINK] — CalChris, 2020-06
让这件事比 Keller 以往在别的公司那些短暂任职更奇怪的是,他在过去一年里做了大量媒体活动。他在 2020 年给记者/采访者投入的时间,可能比他此前三十年职业生涯加起来还多。《财富》杂志今年五月的一篇文章透露了一些关于他计划的洞见(同时也很好地概述了他的职业生涯)([LINK])。> Keller 不太愿意谈论他正在主导的大规模芯片重新设计——芯片设计师很少这么做——而 Intel 的新芯片可能还要再过一两年才能准备好。尽管如此,Intel 和 Keller 都透露了一些关于这些芯片可能如何运作的线索。新芯片将清晰地区分主要功能,以便公司更容易一次改进一个部分——这种方法让人想起 Keller 在 AMD 使用的 chiplet 模式。Keller 还暗示,Intel 的低功耗 Atom 系列芯片可能会在他未来为 PC 和服务器所做的设计中扮演更重要的角色。在发稿时,听起来他并不打算… — cepth, 2020-06
相关视频
- 虚数是真实的 [第1部分:介绍] · Welch Labs · 5:47
- 神经网络和反向传播的详细入门:构建micrograd · Andrej Karpathy · 2:25:52
- 但什么是神经网络?| 深度学习第一章 · 3Blue1Brown · 18:40
- 8 位计算机更新 · Ben Eater · 6:53
- Jim Simons(完整版访谈)- Numberphile · Numberphile2 · 1:00:43
- 遥遥领先 | 1969 年的阿波罗制导计算机 · TNMoC · 1:21:22
- Steve Jobs 2005 年斯坦福大学毕业演讲 · JoshuaG · 14:34
- 在 6502 上从零开始实现“Hello, world” — 第 1 部分 · Ben Eater · 27:24
- AlphaGo - 电影 | 完整获奖纪录片 · Google DeepMind · 1:30:28
- Transformer,LLM 背后的技术 | 深度学习第 5 章 · 3Blue1Brown · 27:14
- 寻找缺失的忆阻器 - R. Stanley Williams · The Qualcomm Institute · 47:52
- Alan Kay - 正常被认为有害 · powerfuloutlet · 1:07:26
- 终极 Game Boy 演讲 (33c3) · media.ccc.de · 1:01:06
- 培育语言,作者:Guy Steele · Bill Pugh · 53:31
- USENIX Security '18-Q:为什么主题演讲者不断建议改进安全性是可能的? · USENIX · 51:22
- 软件设计哲学 | John Ousterhout | Talks at Google · Talks at Google · 1:01:40