Ali Rahimi 在 NIPS 的演讲(NIPS 2017 时间检验奖颁奖演讲)

Ali Rahimi's talk at NIPS(NIPS 2017 Test-of-time award presentation)

频道:ObservantVids · 时长:23:19 · 发布:2017-12-06 · 播放:78207

在 YouTube 观看

简介

Ali Rahimi 的 NIPS 2017 时间检验奖演讲,他在其中认为现代机器学习已成为炼金术,在没有被严格理解的情况下运作。他呼吁该领域更加严谨和理解。

HN 为什么推荐

HN 指出它是对深度学习实践最尖锐、最常被引用的批评,并在讨论 ML 可靠性或理解时引用它。

要获得更尖锐和深刻的批评,请观看 Ali Rahimi 在 NIPS 2017 的简短演讲 — HN, 2018

机器学习与深度学习 · 科学方法与科学传播

中文字幕节选

早上好,我想我们已经准备好进行下一场演讲了,如果这个真的 能行的话。所以并不是每届NIPS都有 时间检验奖,所以能获得时间检验奖本身就是一种时间检验。 今年有一个,我们决定的标准,或者说 程序委员会决定授予它的标准是十年前的 NIPS论文。所以我们成立了一个小委员会,我必须说这并不容易。 所有没有获得时间检验奖的人不要太难过,这 不是个容易的决定,但我们确实达成了一致,我们确实找到了一篇我们绝对 觉得非常非常优秀的论文,我们对此很高兴。 所以让我用作者自己的话来介绍它。 随机特征,一种加速监督学习算法的技巧,使它们能够 处理大数据,即数百万个数据点。传统学习 算法工作太努力,因为它们优化了实际上不需要 优化的参数。相反,人们可以对某些参数进行随机化,并快速 优化其余参数。得益于测度集中现象,这 仍然提供了出色的准确性。这种方法造就了准确的学习算法, 运行极快且非常容易实现。所以这篇论文 引入了随机傅里叶特征采样来高效近似高斯 核。它还引入了随机分箱特征来近似可分离的 可分离多元平移不变核。后来他们又提出了随机 戳记用于提升,以及随机支持向量用于经验核映射。从 这篇论文的后续变体中衍生出一个非常流行的术语:随机厨房 水槽。所以不用再多说了,以防你们没猜到是哪篇论文, 它就是《随机特征用于大规模核机器》,作者是Ali Rahimi。 我已经被简要介绍过了,他们两位都在这里,让我们给他们 掌声。 Ali将进行演讲。谢谢,你 介意吗?哦,谢谢。 好的,获得奖项感觉棒极了,谢谢。 但我得告诉你们,没有什么比获得一个叫做时间检验的奖项更让人觉得自己老了。 它迫使我面对自己的年龄。Ben和我都不再年轻了,所以 我们决定相应地命名这次演讲。我们因为这个论文 颁发这个奖项,就是上面这第一篇论文,但这篇论文是一个三部曲的开端, 可以说,就像所有值得讲述的故事一样,精彩的部分发生在中间或 结尾,而不是开头。所以如果你们能容忍我的老派作风,我想 带你们回到2006年的NIPS,那时恐龙还在地球上漫步, Ben和我还是年轻活泼的小伙子。深度学习 刚刚在2006年中期引起了轰动。训练算法 很复杂,结果与线性方法如PCA和线性 SVM相当。在研讨会上,我们一些人在闲聊,有人指出这 也许应该与非线性方法如SVM进行比较,但当然在当时 你无法将SVM扩展到那个规模。数据集Ben和我 都在分别研究随机算法,Ben用于压缩感知, AI用于草图以加速计算机视觉中的二分图匹配。一旦我们 回家,我们只用了两封邮件就想出了加速核机器的方法。 这两封邮件变成了那第一篇论文。想法很简单: 通常当你在数据集上训练核机器时,你在每个数据点 上放一个核,并为每个核关联权重,然后你 让优化器调整这些权重以最小化训练损失。 这里是论文中的观察:当时人们使用的大多数核 可以近似为随机函数乘积的直和。如果 你将这个近似代入第一个方程,你会得到一个直和的线性组合,

HN 上的讨论

在我看来,这篇文章有点过于肤浅,更偏好引用和陈述而非实质内容和解释。要获得更尖锐、更有洞察力的批评,请观看 Ali Rahimi 在 NIPS 2017 上的简短演讲(他当时展示的论文获得了“时间检验奖”,因为其在发表十年后仍具有突出价值)。演讲结束时他获得的起立鼓掌表明,他的评论引起了相当一部分与会者的共鸣。[VIDEO] 以下是演讲中的一段引子:“你们中有多少人从头开始设计了一个深度神经网络,包括架构等,并从头开始训练它,当它不工作时,你会感到沮丧,觉得自己做错了什么?这种情况大约每三个月发生在我身上,让我告诉你,我不认为这是你的错 [...] 我认为这是梯度下降的错。我会举例说明...” [补充] Ben Recht 和 Ali Rahimi 发表了一篇演讲的补充材料,详细阐述了他们设想的方向——[LINK] Ali 还写了一篇文章,试图整理一些关于深度学习的令人困惑的基本观察,并… — ssivark, 2018-02
Ali Rahimi 在 NIPS 2017 的 Test of Time 获奖演讲。“人工智能不像电力(引用 Andrew Ng 的话),而是炼金术”[VIDEO] — vowelless, 2018-01
>我绝不相信公司不完全了解它如何操纵所利用的 AI 系统来实现其目标。请观看这个演讲,它将现代 AI 工作比作炼金术(即它有效,但不可靠,而且我们并不总是知道为什么):[VIDEO] — ShredKazoo, 2023-02
我也是一名 AI 研究员,我对炒作会很快消退并不乐观。很长一段时间以来,人们一直通过拙劣的科学来宣扬微不足道的结果。他们注意到这足够有效,因为当前的机器学习仍然很大程度上是炼金术(Ali Rahimi 2017 年 NIPS 时间检验奖 [1] 演讲至今仍引起共鸣),所以人们很少花精力去有效反驳那些虚假声明。因此,我选择退出这个系统,我正在努力实现一些雄心勃勃的想法,试图颠覆当前在大数据上训练的范式,这真的很疯狂(到 4 岁时,最博学的孩子可能只接触过 4500 万个单词 [2],但表现出比任何在类似数据量上训练的语言模型都更深刻的理解和流畅性)。[1]: [VIDEO] [2]: [LINK] — nsagent, 2025-03

相关视频