湾区视觉会议:无监督特征学习和深度学习

Bay Area Vision Meeting: Unsupervised Feature Learning and Deep Learning

频道:Google TechTalks · 时长:48:10 · 发布:2011-04-11 · 播放:122987

在 YouTube 观看

简介

Andrew Ng 介绍了无监督特征学习和深度学习,展示了算法如何从未标记的数据中学习表示,而不是手工设计的特征。他给出了视觉和音频方面的例子,包括连续层学习到的特征可视化。

HN 为什么推荐

HN 评论者多年来推荐它作为深度学习浪潮的简单、令人兴奋的概述。

他非常简单地解释了这一切如何用于图像,以及一些关于音频案例的例子。 — HN, 2012

机器学习与深度学习 · 计算机视觉、语音与 NLP

中文字幕节选

>> 第一位演讲者是 Andrew Ng,他将 谈论“无监督特征学习 与深度学习”。他做了大量 出色的工作,我有很多话 可以说,但他说我应该简短介绍, 让他上台演讲,因为 研究有趣的机器学习、强化 学习和机器人控制,他现在将与我们 分享一些他的工作。>> NG:好的。谢谢,Allie。我来给大家讲讲 无监督特征学习和深度 学习。我知道在座的 大多数人主要关心计算机视觉,但我将用计算机视觉来展开这些想法, 并辅以来自音频和文本的 例子。假设你想 做图像分类,对吧。你要做的是 取一张图像,然后把它输入学习 算法,算法会学习将其分类为 摩托车或不是。我们所有人都会记下图片 并这样解读,我们所做的是实际上 取图像并构建一个特征 表示,正是这个特征表示 我们将其输入到,比如说,支持向量机。 更一般地说,这种流程普遍存在于 计算机视觉和其他领域中,其中 有一个子——低级特征是我们 实际输入到学习算法的。 事实上,更广泛地扩展到计算机 感知领域,对吧,设想我们不把 图像输入学习算法,而是输入低级特征,如边缘检测器或 SIFT 或其他东西。如果你做音频应用,你不会输入原始音频, 而是输入各种音频 特征来做,比如说,说话人识别。 而在一些实际的语言处理中,我们 对文本做机器学习,你会输入各种 文本特征到你真正关心的应用中。 鉴于这个流程是我们几乎所有学习算法、 几乎所有视觉和其他应用都在做的, 中间的低层特征就是 我们的学习算法 看待世界的主要透镜。 所以,这赋予了它们某种首要地位。而今天我想 谈的是,这些特征从何而来? 那么让我们实际看看我们 现在是怎么做的。在计算机视觉中, 我们从哪里获得这些特征?嗯, 在计算机视觉中,答案是,在 过去几十年里,我们的社区花费了 大量精力手工设计或手工工程化 这些特征,经过几十年的 工作,我们现在已经找到了一些相当不错的特征,但那是一个 漫长的过程。相反,我们必须问:“我们 能做得比这更好吗?”这是视觉,那 音频呢?在音频中,最先进的答案是在过去几十年里,有 一个完全独立的音频研究者社区 一直在设计,投入大量洞见 来编写好的音频特征,其中一些是极其聪明的想法,比如 MFCC。那实际上已经有,大概,20、30 年了。它实际上很难被超越,但 再次你必须问,有没有更好的方法来提出特征, 并让整个研究者社区尝试 来手工设计这些东西。对于文本, 也是一样,对吧?事实上,当今 很大一部分NLP研究只是提出, 比如说,更好的解析器,而解析有什么用呢。 嗯,它们主要被用作特征 输入到其他东西中。所以[听不清]提取, 你知道,你实际上并不用它来——或者 语义[听不清]。大多数这些东西 都是被设计成后续学习算法的特征。 所以,有没有更好的方法?有没有——有没有可能更好的方法 来想出更好的特征,并且 用更少的时间和我们的[听不清] 时间?我要讲的那个方法 从生物学中汲取了一些灵感,我想

HN 上的讨论

Andrew Ng有一个可视化深度信念网络的绝佳例子:[VIDEO] 例子大约从18:20开始。你真的需要看过之前的内容才能理解,但基本思想是他绘制了由深度神经网络连续层学习到的特征层次结构(如果我没记错的话,是一个稀疏自编码器,我已经有一段时间没看了)。 — michael_nielsen, 2013-04
我发现最有用的一个概述是[VIDEO](湾区视觉会议:无监督特征学习和深度学习,Andrew Ng,2011年4月)。 — pilooch, 2012-11
感谢指出这一点。这里是Andrew Ng的一个类似的精彩视频[VIDEO],他教授最初的Coursera机器学习课程。 — FrojoS, 2012-08
这似乎与 Andrew Ng 的这个 [VIDEO] 演讲非常相关。这是一个40分钟的演讲,但他非常简单地解释了这一切如何用于图像,以及一些关于音频案例的例子。使用这种深度学习技术,我们可以教这些“神经网络”识别如此复杂的模式,这真是不可思议。这就像逆向工程大脑的算法。顺便说一句,我上了他的 Coursera 机器学习课程,非常棒!我也非常推荐它来收集基本的机器学习知识。 — brutuscat, 2012-06
看看这个(超棒的)演讲:[VIDEO] 在许多领域,无监督特征学习都优于我们几十年来一直在微调的手工编程模型。 — kevin1024, 2012-06

相关视频