深度学习的最新进展
Recent Developments in Deep Learning
频道:Google TechTalks · 时长:1:05:17 · 发布:2010-03-22 · 播放:84764
简介
Geoff Hinton 在 2010 年 Google Tech Talk 上讲解深度信念网络、如何从无标签数据中逐层学习表征,以及用乘法交互来扩展这些网络。
HN 为什么推荐
被引用为深度学习先驱者早期可观看的入门介绍,并被视为该领域令人脑洞大开的时刻。
如果有人感兴趣的话,Geoff Hinton 有一个很棒的 Google Tech Talk,可以作为深度学习的稍微技术性的入门介绍。 — HN, 2014
中文字幕节选
>> 那么,我很荣幸向大家介绍杰夫 辛顿,他是机器学习和神经网络的先驱, 最近还研究了[听不清] 架构。我想,这将会是 今天的主题。那么,交给你了。>> 辛顿:好的。几年前我把这个讲给了Okeer。 前10分钟左右 会概述我在那里讲的内容, 然后我会讲新的东西。 新的东西包括一个更好的学习模块。 它让你在各种不同的事情上都能学得更好, 比如,学习图像如何 变换,学习人如何行走,以及学习 物体识别。所以基本的 学习模块由一些变量组成,它们表示 像像素这样的东西,对于像素来说, 这些将是二值变量。还有一些变量表示——这些 是潜变量,它们也将会 是二值的。而且存在二分图连接, 所以这些单元彼此相连。 这使得事情非常容易:如果我给你 可见变量的状态,就能推断出 隐藏变量的状态。给定可见变量, 它们全都是相互独立的, 因为这是一个无向图。而输入过程就是说, 给定这个可见向量"v",打开隐藏单元"hj"的概率是逻辑函数, 作用于它从可见单元得到的总和, 所以对于隐藏变量来说非常简单。给定 隐藏变量,我们也可以推断出 可见变量也非常简单。如果我们想 在某些连接上设置一些权重, 并且想知道这个模型相信什么, 我们可以先反向再正向推断, 并行推断所有隐藏变量,然后 再推断所有可见变量。这样做很长时间,你就会看到它喜欢相信的 各种事物的例子。而学习的 目标就是让它喜欢相信那些实际 发生的事情。所以这个东西由一个能量 函数控制,给定连接上的权重。可见向量加 隐藏向量的能量是所有连接的总和, 如果可见和隐藏单元都处于激活状态, 则加上权重。所以我会选择一些 激活的特征,加上 权重,如果是一个大的正权重, 那就是低能量,这是好的。所以, 这是一个快乐的网络。这有很好的导数。 如果你对权重求导, 你会得到可见和隐藏活动的乘积。 因此,这个导数在学习中会经常出现, 因为这个导数是改变可见和隐藏单元组合配置能量的方式。 给定能量函数,一个组合配置的概率 是 e 的负该组合配置的能量次方, 再除以配分函数归一化。如果你想知道 某个特定可见向量的概率, 你必须对所有可能与之搭配的隐藏向量求和, 这就是可见向量的概率。如果你想改变 可见向量的概率, 你需要调整权重。 这就是学习的过程。 权重来提高这个概率,你 总是需要降低可见向量与 它愿意搭配的隐藏向量组合的能量, 并提高所有其他组合的能量, 所以你就减少了计算。正确的最大似然 学习规则是,如果我想改变 权重以增加对数概率, 即这个网络生成向量 "v"的概率,当我让它自由幻想 它愿意相信的东西时, 形式很简单。 就是两个相关性的差。 所以即使它依赖于所有其他权重,它表现为相关性的差。 你要做的是取你的数据,激活隐藏单元, 这是对单元进行分类,然后我们构建、激活,我们构建、激活。 所以这是一个马尔可夫链。你运行很长时间, 以至于忘记了起点。 然后你测量那里的相关性,从这里的相关性开始。
HN 上的讨论
如果有人感兴趣,Geoff Hinton 有一个很棒的 Google Tech Talk,可以作为深度学习的稍微技术性的介绍:[VIDEO] — markovbling, 2014-03
你看过在线课程吗?[LINK](来自本文作者之一!)[LINK] [LINK] Hinton 教授的视频非常值得一看:[LINK] [VIDEO] — Devilboy, 2012-06
Geoff Hinton(他与 Dahl 在这项研究的很多方面密切合作,并开发了该领域的一些关键算法)有一个非常好的 Google Tech Talk,讲解了如何使用多层 RBM 构建深度信念网络:[LINK] 那个视频聚焦于手写数字识别,但对于理解基础知识非常棒。几年后还有第二个 Google Tech Talk 视频,直接讨论了音素识别:[VIDEO] — tylerhobbs, 2012-06
那一定是很久以前的事了。经历过网页通过 CGI 提供、手机只存在于电影中的时代,当时 SVM 是机器学习中的新热点,人们会写关于神经网络有多奇怪的文章,我觉得在过去几十年里我看到的实际进展比今年多得多。今年说实话感觉相当停滞。LLM 实际上只是能够重现过去的技术。它们很酷,但四年前更酷。我们把“代理”和“强化学习”这样的大想法基本上剥离了所有意义,以声称取得了进展。我的意思是,你还记得 Geoffrey Hinton 在 2010 年在谷歌的 RBM 演讲吗?[0] 对于任何关注该领域的人来说,那绝对是疯狂的。到 2010 年代中期,RBM 已经过时了。我记得当每个人都在实现各种 RNN 和 LSTM 时。Karpathy 2015 年的字符 RNN 项目非常疯狂 [1]。这个评论让我想知道,围绕 LLM 的部分炒作是否只是因为许多软件人员根本没有注意到我们在过去 20 年中在这个领域看… — crystal_revenge, 2026-01
我认为首要任务应该是弱人工智能代理的层次结构如何形成强人工智能,并具备重写自身概念且不变得不稳定的能力。我很少看到这方面的内容,除了一个视频,我记得其中多层神经网络可以在保持某些连接为恒定值的情况下进行训练。这样,网络可以被训练来完成不同的任务,然后在运行时通过将这些训练连接设置为不同的值来恢复到那些模式:[VIDEO] 最终,另一个神经网络可以被训练来知道保持哪些值以获得不同的行为。听起来目标之一是为类似任务重用逻辑,并最终能够在像我们大脑一样的新情况下适应。我相信还有一点关于时间如何融入这一切,但我已经有一段时间没看了。总之,我认为我们学到的关于像 git 这样的版本控制系统的很多知识可以用来让人工智能在沙盒中头脑风暴,并在改进时替换自己的代码,并且始终能够在需要时回滚或合并。再加上一些遗传编程和拥有 1000 个核心的像样的 lisp 机器,我们真的可以有所作为。当我想到这种“真正… — zackmorris, 2015-01
相关视频
- 如何演讲 · MIT OpenCourseWare · 1:03:42
- 神经网络和反向传播的详细入门:构建micrograd · Andrej Karpathy · 2:25:52
- 1. 人类行为生物学导论 · Stanford · 57:14
- 领导力实验室:有效写作的艺术 · UChicago Social Sciences · 1:21:51
- 但什么是神经网络?| 深度学习第一章 · 3Blue1Brown · 18:40
- MIT 的聚变能之路(IAP 2017)- Zach Hartwig · MIT Plasma Science and Fusion Center · 1:11:39
- 斯坦福 Sapolsky 谈美国抑郁症(完整讲座) · Stanford · 52:28
- 公正:该如何做是好?第 01 集“谋杀的道德侧面” · Harvard University · 54:56
- 第一讲 | MIT 18.06 线性代数,2005 年春季 · MIT OpenCourseWare · 39:49
- AlphaGo - 电影 | 完整获奖纪录片 · Google DeepMind · 1:30:28
- 兰迪·波许的最后一课:实现你童年的梦想 · Carnegie Mellon University · 1:16:27
- Transformer,LLM 背后的技术 | 深度学习第 5 章 · 3Blue1Brown · 27:14
- 第一讲A:Lisp概述与简介 · MIT OpenCourseWare · 1:12:55
- 讲座 1A | MIT 6.001 计算机程序的构造和解释,1986 · MIT OpenCourseWare · 1:12:55
- 你见过的最重要的视频(8 部分之 1) · wonderingmind42 · 9:17
- USENIX Security '18-Q:为什么主题演讲者不断建议改进安全性是可能的? · USENIX · 51:22