RAAIS 2017 - Simon Knowles,Graphcore联合创始人兼CTO

RAAIS 2017 - Simon Knowles, Co-Founder and CTO of Graphcore

频道:The Research and Applied AI Summit - RAAIS · 时长:35:44 · 发布:2017-07-13 · 播放:6896

在 YouTube 观看

简介

Graphcore联合创始人兼CTO Simon Knowles谈论“智能处理器”,专为机器学习设计的芯片。该演讲在RAAIS 2017峰会上发表,涵盖Graphcore的架构。

HN 为什么推荐

HN指出这是一位芯片设计师的技术演讲,关于为什么AI硬件应该将内存靠近计算并使用异步数据传输。

这是Graphcore的CTO关于此的一个很好的技术演讲 — HN, 2017

机器学习与深度学习 · 计算机体系结构与CPU

中文字幕节选

接下来,我非常高兴地欢迎 Simon Knowles,他是 Groff 的 CTO 和联合创始人 core,这家公司正在为机器学习时代发明一种新的处理器。Simon 已经 在这个行业很久了,创立了两家公司 I Sarah 和 Ellen 14 以超过十亿的价格转售,所以你知道该怎么做。那么交给你了,Simon, 别走开。哦,谢谢。Graphcore 是一家相对年轻的公司 我们去年九月宣布了我们的存在和第一轮融资,我们 今天大约有 50 人,几乎全是工程师。我们实际上一直在研究 这个硬件,我会稍微谈谈,大约三年了。还没有发布 规格,我不会做那种完整的展示,但我会介绍 一些大纲和一些讨论,关于指导我们使命的那些事情 事实上,我们很快就会发布另一个与融资相关的公告。现在 我们像野草一样生长,如果有人想从事机器学习芯片的职业, 你知道该去哪里。目前我们最出名的是制作一些视觉糖果, 从我们的工具中弹出。这是一个共振的逐层 演化,你可以看到一些相同的卷积层堆叠 网络在这些循环中运行。我们从中得不到任何见解,这只是视觉糖果, 这只是给世界带来欢乐,但我们喜欢它,所以我们这样做,我们 把它放在网上,然后人们说看那里什么都没有,是的,你说得对, 那里什么都没有。所以智能,在接下来的 几张幻灯片中简化一些事情,所以任何深入这项技术的人,我提前道歉, 简化你的整个世界,但这是合理的,它将有助于说明 一些要点。好的,首先,如果你要建造 智能机器,这是我们的使命,那么了解如何定义 智能是有帮助的。希腊哲学家在大约 2000 年前尝试过,但无法 达成一致,所以从那以后一直在争论。大多数心理学界的人 认为有三种推理形式:归纳、演绎和 溯因,甚至就在去年还有一个会议讨论归纳和 溯因是否实际上是同一件事,会议没有得出结论。所以 没有智能的定义,但这是我的近似定义,为了 建造机器的目的。所以我将其描述为基于不完美知识的理性判断能力, 这种能力随着经验而适应。所以你可以 捕捉这里的重要事情,特别是总是有一个知识 基础,那个知识基础总是在某种程度上是错误的,没有学习, 就没有智能。没有不完美,就没有智能。如果你建造 一辆自动驾驶汽车,它撞车了,然后你给它完全相同的场景, 它以完全相同的方式撞车,你不会认为它是智能的。所以 必须有一些学习组件,正如我们所知,学习只是形成 经验的凝结。就机器而言,经验只是数据, 所以我们只是在压缩数据。这是我最简单的智能机器 图,所以它有两个部分:有一个推理引擎,还有一个 知识模型。注意这里没有学习框。在 GPU 和其他竞争硅的世界里,关于芯片是用于训练还是用于 推理有很多讨论。我想指出,这里没有根本区别, 学习只是模型参数或模型结构的推理。所以我认为, 为了建造用于智能行动的通用机器,最好不要认为有 区别。事实上,我很难想象,当我们在世界中部署智能 机器时,我们不会希望它们在一定程度上增量地

HN 上的讨论

我周一去听了Graphcore首席技术官的一场演讲([LINK])。他们正在设计针对机器学习的芯片。据我理解,他们的架构包括——大量“瓦片”——带有并置内存的小型处理核心(本质上是DSP)——用于在瓦片之间移动数据的极高带宽(90TB/s!)交换结构——“批量同步并行”操作,意味着瓦片完成工作,然后交换结构移动数据,然后我们重复。他指出关键挑战是功耗——既包括输入能量(现代CPU/GPU的电流与你的汽车启动电机相似!),也包括散热。逻辑门比RAM消耗更多功率,因此他认为,将小块RAM紧邻处理核心并置,从功耗角度看要好得多(意味着你可以在芯片中塞进更多东西),而且显然从性能角度看也更好。[VIDEO] 不完全是我看到的那场演示,但有很多重叠。希望这有帮助! — maffydub, 2018-04
确实如此,这就是为什么有几家初创公司在研发新芯片,以及为什么谷歌有TPU。这里有一个Graphcore首席技术官关于此的很好的技术演讲[VIDEO] — midko, 2017-11
有趣的方法,但差得很远。我更看好GraphCore作为AI硬件领域有前途的新方向。将计算移近内存,并使数据传输异步化,将加速深度学习。[VIDEO] — visarga, 2017-07

相关视频