杰弗里·辛顿演讲“卷积神经网络有什么问题?”
Geoffrey Hinton talk "What is wrong with convolutional neural nets ?"
频道:trwappers · 时长:1:11:35 · 发布:2017-04-03 · 播放:199910
简介
杰弗里·辛顿在麻省理工学院发表演讲,探讨卷积神经网络的问题,并介绍他的胶囊项目。描述中指向了胶囊网络论文。
HN 为什么推荐
被推荐为辛顿本人对胶囊网络的解释以及他对 CNN 中池化的批评。
辛顿在这个视频中解释了胶囊的概念 — HN, 2017
中文字幕节选
呃,在他众多头衔中,他是盖茨比单元的创始主任, 以及伦敦大学学院。 他是多伦多大学的大学教授,最近还 被任命为谷歌的杰出研究员。 嗯,当然杰夫是呃神经人工神经网络领域的创始人之一和主要人物, 以及机器学习领域。 呃,他来到MIT也算是一件大事。 对于那些昨天在Seale听过演讲的人,有500多人, 基本上人们都进不去。 呃,今天我们4点开始,因为我相信会有类似的效果。 呃,还有呃,汤米在6点组织了一个小组讨论,呃, 杰夫也会在这个房间里,关于呃通往智能之路。 呃,所以我不会呃,我不会说太多呃,因为我们都来听 他,只是想说成功的代价可能就是你们在他呃网页上看到的, 上面写着给潜在学生的信息。 我不会再招收新的研究生、访问学生、暑期学生或 访问者。所以请不要申请与我合作。 杰斯, 非常感谢。不过如果你想在谷歌找工作,那是另一回事。 嗯,我们使用的神经网络有很多问题。 嗯,它们在语音识别和物体识别方面相当成功, 尤其是最近。但有很多地方与大脑非常不同, 我相信这些使得它们的工作效果不如可能达到的那么好。 所以一个问题就是,任何复杂的工程系统都应该有不同层次的 结构。神经网络的结构层次非常少。 有神经元,有神经元层,这些层完全不像皮层中的层, 还有整个神经网络,对于大多数这些神经网络来说就这些了。 嗯,这些神经网络中缺少的一件事是没有明确的 实体概念。所以对于在座的天赋论者,我愿意承认 可能值得在神经网络中构建一些与存在实体这一想法相关的东西。 嗯,我想把它构建到架构中。 这就是这次演讲要讲的内容。 所以我想做的是,把我们称为层中的神经元分组为 子集,并让这些子集中神经元的活动代表同一实体的不同 属性。 我希望神经网络决定实体是什么以及它们如何相互作用。 但我希望有那种内置属性,即会有 实体。这是我对天赋论者唯一让步的地方。 嗯,我还想推动这样一个想法:迷你柱是表示 实体的地方。每个迷你柱一个实体。 嗯,我将把人工网络中的这个东西称为胶囊。 这个想法是,胶囊将有两种实例化参数。 一种表示其实体是否存在。 我主要讨论图像。 所以在当前输入图像中,嗯,然后它还会有其他东西 描述这个实体的属性。 如果实体不存在,你可以随意说属性。 没关系。但如果实体存在,那么你想知道它的 属性。属性将是诸如它的方向、它的 大小、它的速度、它的颜色,各种类似的东西,它的变形。 嗯,胶囊输出到更高级别胶囊的内容,因为我想 这在层次结构中,是实体存在的概率以及 实体的广义姿态,这里设想为物体或物体的一部分。 嗯,这包括各种 参数。胶囊所做的、在普通神经网络中不会发生的事情,这是 它们要做的那种基本计算,嗯,是 它们从低级别胶囊获取关于其广义姿态应该是什么的预测。 所以是关于一个多维向量。 它们寻找紧密一致的预测。 它们不在乎是否有许多预测是离群值。 它们关心的是有一小部分预测能够很好地 吻合。如果你在很多很多年前,在计算机视觉变得愚蠢之前做过这方面的工作,嗯,这就像
HN 上的讨论
Hinton在这个视频中解释了胶囊的概念:[VIDEO] 这比读别人告诉你这个被称为“胶囊”的新想法要好得多,但并没有深入细节。唯一的问题是,在这个演讲进行时,他们似乎还没有比MNIST做得更多(所以现在的新东西会是玩具识别网络)。更好的来源,带有日期:[LINK](2014年12月,给懒人)。 — dr_zoidberg, 2017-11
Hinton教授有一个有趣的演讲,关于他基于形状感知心理学的新“胶囊”模型:[VIDEO] — bra-ket, 2017-09
我确信,如果没有基础研究的新重大突破,AI业务将趋于平稳,并将出现另一个AI寒冬。我们目前生活在一个Hinton和加拿大黑手党的成果仍在被采用和完善的时代。这只是交替的仿射变换层和非线性层,加上许多技巧和改进的路由。每十年左右需要一次基础理论突破,而不仅仅是改进和新应用。Hinton多年前做了他的“卷积神经网络有什么问题”演讲“[VIDEO] 我相信Hinton的胶囊网络类型的尝试是我们更需要的。它们可能不会立即带来令人印象深刻的结果,因为基础研究涉及许多挫折。 — nabla9, 2018-03
Hinton的“胶囊网络”:[LINK] [VIDEO] [LINK] 它们听起来有点像“祖母神经元/细胞”:[LINK] 我非常感激能有一个关于胶囊的ELI5,以及对胶囊可能如何影响神经网络的最新技术水平,以及当前机器学习领域论文和研究生涌入的预测。 — giardini, 2017-11
我有一个假设,这些解释错误主要源于当今几乎所有CNN中都存在的最大池化层。简单地丢弃每个池化层中通过的大部分信息(至少75%!)使得模型变得相当脆弱。而且,显然,能够从图像中解释有意义的符号(例如单词),而不仅仅是识别某种任意的模式激活类别,将会有很大帮助。当然,这非常困难,但在我看来,对于即将到来的自动驾驶革命来说,如果它要成功,这是必不可少的。G. Hinton有一些想法,尽管它们还没有很成熟。[1] [1] [VIDEO] — uoaei, 2017-10
相关视频
- 向量 | 第1章,线性代数的本质 · 3Blue1Brown · 9:51
- 神经网络和反向传播的详细入门:构建micrograd · Andrej Karpathy · 2:25:52
- 但什么是神经网络?| 深度学习第一章 · 3Blue1Brown · 18:40
- AlphaGo - 电影 | 完整获奖纪录片 · Google DeepMind · 1:30:28
- Transformer,LLM 背后的技术 | 深度学习第 5 章 · 3Blue1Brown · 27:14
- USENIX Security '18-Q:为什么主题演讲者不断建议改进安全性是可能的? · USENIX · 51:22
- 第一讲 | 机器学习(斯坦福) · Stanford · 1:08:40
- MarI/O - 视频游戏机器学习 · SethBling · 5:57
- 深入探讨 ChatGPT 等 LLM · Andrej Karpathy · 3:31:23
- 学会玩经典 NES 游戏的计算机程序 · suckerpinch · 16:17
- David Silver 强化学习课程 - 第一讲:强化学习导论 · Google DeepMind · 1:28:12
- 让我们从头构建 GPT:用代码,详细解释。 · Andrej Karpathy · 1:56:20
- 湾区视觉会议:无监督特征学习和深度学习 · Google TechTalks · 48:10
- A Hackers' Guide to Language Models · Jeremy Howard · 1:31:13
- "语音驱动开发:谁还需要键盘?" 作者 Emily Shea · Strange Loop Conference · 41:17
- 安德烈·卡帕西 - 特斯拉全自动驾驶的人工智能 · Matroid · 30:08