大脑、性与机器学习

Brains, Sex, and Machine Learning

频道:Google TechTalks · 时长:1:00:19 · 发布:2012-08-17 · 播放:151842

在 YouTube 观看

简介

杰弗里·辛顿的谷歌技术演讲,将机器学习与生物学联系起来,解释dropout作为一种模型平均形式,以及为什么有性生殖和随机脉冲神经元可能防止过拟合。

HN 为什么推荐

推荐作为dropout及其与大脑工作方式联系的简单、优雅解释。

如果你想全面了解dropout技术,请看辛顿的这个技术演讲 — HN, 2013

机器学习与深度学习 · 神经科学与大脑

中文字幕节选

欢迎。我非常荣幸能够介绍我们今天的演讲者。 Jeff Hinton来自多伦多大学。 他于1970年毕业于剑桥大学,获得实验心理学学士学位, 并于1978年在爱丁堡大学获得人工智能博士学位。 我们这些加拿大边境以南的野蛮人不太看重出身,但作为一名 计算机科学家,我不禁注意到Jeff是逻辑学家George Boole的 曾曾孙。 非常酷。在他的众多成就中,Jeff与Terry Sejnowski共同发明了玻尔兹曼机, 并与Paul Werbos、David Rumelhart和Ron Williams一起引入了用于训练多层神经网络的 反向传播算法。 他是伦敦大学学院Gatsby计算神经科学单元的创始主任, 该单元是全球研究计算神经科学 的首要场所之一。 他的学生包括机器学习和计算机视觉领域的一批杰出计算机科学家。 他们包括Rick Szeliski、Richard Zemel、Radford Neal、Carl Rasmussen、Brendan Frey 和 Yee Whye Teh,他们都是我们许多人熟知的知名研究科学家。 他于1998年当选为皇家学会会员,并于2005年获得IJCAI 研究卓越终身成就奖。 尽管获得了众多奖项,并作为受邀演讲者和论文 导师广受欢迎,他仍然保持着惊人的生产力和创造力。 如果你没有听说过深度信念网络、对比散度、专家乘积、 唤醒-睡眠算法、语义哈希,或Jeff的任何其他众多 发明,你可能也不知道ICML或NIPS代表什么。 早在今年一月,Jan LeCun,Jeff影响过的众多计算机 科学家之一,通过撰写Jeff Hinton事实,发起了一个机器学习相关的梗。 这是Jeff Norris事实的类似物。 在我发现这个之前,我并不知道它,所以这里有几个例子。 Jeff Hinton不需要创建隐藏单元,当他靠近时,它们会自己隐藏起来。 Jeff Hinton曾经构建了一个神经网络,在 某个任务上击败了Chuck Norris。 MNIST。与 Jeff Hinton 交手后,支持向量会变得 精神错乱。而为了今天的介绍,我从 Jan 的两个 事实中做了一个混搭。它是这样的:“永远不要打断 Jeff Hinton 的演讲。 他会让你后悔无界。” 这真的很不公平,因为 Jeff 是我认识的最可爱的人之一。 他体内没有平均场。 你们将有很多机会验证这一点,因为他会和我们一起 度过这个夏天的大部分时间。 那么,废话不多说,JEFF。 所以今天我要谈谈机器学习中的一个新想法。 嗯,它还对生物学中的几个主要问题有所启示。 所以,演讲的主题将是机器学习中的这个新想法, 但嗯,它部分受到了一些进化论工作的启发。 嗯,我很久以前就研究过它,但放弃了,因为我没有正确地做实验。 然后 Papadimitriou 来到多伦多做了一个演讲,我想, “这是同一个想法。”于是我又回去正确地做了实验,它

HN 上的讨论

我强烈推荐Geoffrey Hinton在2012年的这个视频[VIDEO],我认为它与这项研究有关。 — eveningcoffee, 2015-11
大脑与深度学习之间的关系似乎已经发展到这样一种程度:后者可以帮助我们洞察前者是如何工作的。在这方面,我想提一下 G. Hinton 去年夏天那场极其简洁而优雅的演讲:[VIDEO]。它从对一个现有深度学习方法的简单而巧妙的改进出发,最终得出了关于神经元为何使用简单脉冲进行通信的优美(且简单!)洞见。 — pilooch, 2013-05
这里有一场 Geoffrey Hinton(负责那个实验室的教授)非常棒的演讲 [VIDEO],他在其中解释了这种方法。遗憾的是,尽管它被三次发到 HN 上 [LINK],却从未登上首页。以下是我的总结和评论:“很棒的演讲。我对人工神经网络(ANN)了解不多,对天然神经网络了解更少,但我感觉从这个视频里学到了很多。如果我理解正确的话,Hinton 使用的人工神经元数量相对于学习数据量来说非常多,通常这会导致过拟合。然而,他的 ANN 在每次学习迭代中会随机关闭相当一部分(约 50%)的神经元。他把这称为‘dropout’。因此,单个 ANN 代表了多个不同的模型。大多数模型从未被训练过,但它们存在于这个 ANN 中,因为它们与被训练的模型共享权重。这种学习方法避免了过度专门化,因此提高了对新数据的鲁棒性,同时也允许任意组合不同的模型,极大地扩展了可测试模型的池子。在使用或测试这些 ANN… — FrojoS, 2012-11
据我所知,有相当多的信息反对大脑是量子计算机这一说法。另一方面,Hinton在YouTube上有一个演讲[1],对深度学习的某些变体以及大脑使用(经典)噪声的方式提供了有趣的见解。[1] [VIDEO] — carlob, 2014-02
在深度神经网络中使用dropout是一种(极其廉价的)方式,可以获得使用集成方法的许多好处。如果你想全面了解dropout技术,可以观看Hinton的这个技术演讲:[VIDEO]。另外,最近在多个数据集上取得最先进结果的maxout算法(来自蒙特利尔小组,Theano的作者们)本质上就是一个专为dropout而设计、能特别出色地工作的算法(据我所知)。 — lightcatcher, 2013-05

相关视频