RAAIS 2017 - Simon Knowles,Graphcore联合创始人兼CTO
RAAIS 2017 - Simon Knowles, Co-Founder and CTO of Graphcore
频道:The Research and Applied AI Summit - RAAIS · 时长:35:44 · 发布:2017-07-13 · 播放:6896
简介
Graphcore联合创始人兼CTO Simon Knowles谈论“智能处理器”,专为机器学习设计的芯片。该演讲在RAAIS 2017峰会上发表,涵盖Graphcore的架构。
HN 为什么推荐
HN指出这是一位芯片设计师的技术演讲,关于为什么AI硬件应该将内存靠近计算并使用异步数据传输。
这是Graphcore的CTO关于此的一个很好的技术演讲 — HN, 2017
中文字幕节选
接下来,我非常高兴地欢迎 Simon Knowles,他是 Groff 的 CTO 和联合创始人 core,这家公司正在为机器学习时代发明一种新的处理器。Simon 已经 在这个行业很久了,创立了两家公司 I Sarah 和 Ellen 14 以超过十亿的价格转售,所以你知道该怎么做。那么交给你了,Simon, 别走开。哦,谢谢。Graphcore 是一家相对年轻的公司 我们去年九月宣布了我们的存在和第一轮融资,我们 今天大约有 50 人,几乎全是工程师。我们实际上一直在研究 这个硬件,我会稍微谈谈,大约三年了。还没有发布 规格,我不会做那种完整的展示,但我会介绍 一些大纲和一些讨论,关于指导我们使命的那些事情 事实上,我们很快就会发布另一个与融资相关的公告。现在 我们像野草一样生长,如果有人想从事机器学习芯片的职业, 你知道该去哪里。目前我们最出名的是制作一些视觉糖果, 从我们的工具中弹出。这是一个共振的逐层 演化,你可以看到一些相同的卷积层堆叠 网络在这些循环中运行。我们从中得不到任何见解,这只是视觉糖果, 这只是给世界带来欢乐,但我们喜欢它,所以我们这样做,我们 把它放在网上,然后人们说看那里什么都没有,是的,你说得对, 那里什么都没有。所以智能,在接下来的 几张幻灯片中简化一些事情,所以任何深入这项技术的人,我提前道歉, 简化你的整个世界,但这是合理的,它将有助于说明 一些要点。好的,首先,如果你要建造 智能机器,这是我们的使命,那么了解如何定义 智能是有帮助的。希腊哲学家在大约 2000 年前尝试过,但无法 达成一致,所以从那以后一直在争论。大多数心理学界的人 认为有三种推理形式:归纳、演绎和 溯因,甚至就在去年还有一个会议讨论归纳和 溯因是否实际上是同一件事,会议没有得出结论。所以 没有智能的定义,但这是我的近似定义,为了 建造机器的目的。所以我将其描述为基于不完美知识的理性判断能力, 这种能力随着经验而适应。所以你可以 捕捉这里的重要事情,特别是总是有一个知识 基础,那个知识基础总是在某种程度上是错误的,没有学习, 就没有智能。没有不完美,就没有智能。如果你建造 一辆自动驾驶汽车,它撞车了,然后你给它完全相同的场景, 它以完全相同的方式撞车,你不会认为它是智能的。所以 必须有一些学习组件,正如我们所知,学习只是形成 经验的凝结。就机器而言,经验只是数据, 所以我们只是在压缩数据。这是我最简单的智能机器 图,所以它有两个部分:有一个推理引擎,还有一个 知识模型。注意这里没有学习框。在 GPU 和其他竞争硅的世界里,关于芯片是用于训练还是用于 推理有很多讨论。我想指出,这里没有根本区别, 学习只是模型参数或模型结构的推理。所以我认为, 为了建造用于智能行动的通用机器,最好不要认为有 区别。事实上,我很难想象,当我们在世界中部署智能 机器时,我们不会希望它们在一定程度上增量地
HN 上的讨论
我周一去听了Graphcore首席技术官的一场演讲([LINK])。他们正在设计针对机器学习的芯片。据我理解,他们的架构包括——大量“瓦片”——带有并置内存的小型处理核心(本质上是DSP)——用于在瓦片之间移动数据的极高带宽(90TB/s!)交换结构——“批量同步并行”操作,意味着瓦片完成工作,然后交换结构移动数据,然后我们重复。他指出关键挑战是功耗——既包括输入能量(现代CPU/GPU的电流与你的汽车启动电机相似!),也包括散热。逻辑门比RAM消耗更多功率,因此他认为,将小块RAM紧邻处理核心并置,从功耗角度看要好得多(意味着你可以在芯片中塞进更多东西),而且显然从性能角度看也更好。[VIDEO] 不完全是我看到的那场演示,但有很多重叠。希望这有帮助! — maffydub, 2018-04
确实如此,这就是为什么有几家初创公司在研发新芯片,以及为什么谷歌有TPU。这里有一个Graphcore首席技术官关于此的很好的技术演讲[VIDEO] — midko, 2017-11
有趣的方法,但差得很远。我更看好GraphCore作为AI硬件领域有前途的新方向。将计算移近内存,并使数据传输异步化,将加速深度学习。[VIDEO] — visarga, 2017-07
相关视频
- David Silver 强化学习课程 - 第一讲:强化学习导论 · Google DeepMind · 1:28:12
- 为什么伟大无法被规划 — Kenneth Stanley · Machine Learning Street Talk · 2:46:27
- 高速机械手 · Hizook · 3:00
- 神经网络学习流体和烟雾的物理规律 | Two Minute Papers #118 · Two Minute Papers · 5:26
- Attention Is All You Need · Yannic Kilcher · 27:06
- 神经网络和反向传播的详细入门:构建micrograd · Andrej Karpathy · 2:25:52
- 但什么是神经网络?| 深度学习第一章 · 3Blue1Brown · 18:40
- 8 位计算机更新 · Ben Eater · 6:53
- 遥遥领先 | 1969 年的阿波罗制导计算机 · TNMoC · 1:21:22
- 在 6502 上从零开始实现“Hello, world” — 第 1 部分 · Ben Eater · 27:24
- AlphaGo - 电影 | 完整获奖纪录片 · Google DeepMind · 1:30:28
- Transformer,LLM 背后的技术 | 深度学习第 5 章 · 3Blue1Brown · 27:14
- 寻找缺失的忆阻器 - R. Stanley Williams · The Qualcomm Institute · 47:52
- 终极 Game Boy 演讲 (33c3) · media.ccc.de · 1:01:06
- USENIX Security '18-Q:为什么主题演讲者不断建议改进安全性是可能的? · USENIX · 51:22
- 三千万行代码问题 · Molly Rocket · 1:48:55