NIPS 2017时间检验奖“机器学习已成为炼金术” | 阿里·拉希米,谷歌

NIPS 2017 Test of Time Award "Machine learning has become alchemy.” | Ali Rahimi, Google

频道:Preserve Knowledge · 时长:22:50 · 发布:2018-03-07 · 播放:26363

在 YouTube 观看

简介

阿里·拉希米接受NIPS 2017时间检验奖,并认为机器学习已成为炼金术,实践跑在了理解前面。

HN 为什么推荐

当HN讨论深度学习缺乏严谨性和理论时被引用,通常还会指出演讲的关键时刻。

跳到13:36直接看重点 — HN, 2024

机器学习与深度学习 · 科学方法与科学传播

中文字幕节选

早上好,我想我们已经准备好进行下一场演讲了,如果这个真的 能行的话。所以并不是每届NIPS都有 时间检验奖,所以能获得时间检验奖本身就需要经过时间的检验。 今年有一个,我们项目委员会决定 颁发给十年前NIPS的 论文。所以我们成立了一个小委员会,我必须说这并不容易。 所有没有获得时间检验奖的人不要太难过,这 不是个容易的决定,但我们确实找到了一篇我们绝对 觉得非常非常出色的论文,我们对此很高兴。所以 让我用作者自己的话来介绍它:随机特征,一种 加速监督学习算法的技巧,使它们能够处理大规模数据,比如 数百万个数据点。数据表明传统学习算法工作太努力了, 因为它们优化了实际上不需要优化的参数。 相反,人们可以对一些参数进行随机化,并快速优化 其余的参数,得益于测度集中现象,这仍然提供了 出色的准确性。这个配方使得学习算法既准确 又极其快速,而且非常容易实现。所以这篇论文引入了随机 傅里叶特征采样来高效近似高斯核。它还 引入了随机分箱特征来近似可分离的 多元平移不变核。后来他们又提出了随机戳印用于 提升和随机支持向量用于经验核。从这篇论文的 后续变体中衍生出了一个非常流行的术语:随机厨房水槽。 事不宜迟,以防你们还没猜到是哪篇论文,它就是 《随机特征用于大规模核方法》,作者是Ali Rahimi和 Ben Recht,他们都在这里,让我们给他们鼓掌。 Ali将进行演讲,谢谢。 你介意吗?哦,谢谢。 好的,获得这个奖项感觉太棒了,谢谢。 但我得告诉你们,没有什么比获得一个叫做 时间检验奖的奖项更让你意识到自己的年龄了。Ben和我都不再 年轻了,所以我们决定相应地命名这次演讲。我们 因为这篇论文获得这个奖项,就是上面这第一篇论文,但这篇论文是 某种三部曲的开端,就像所有值得讲述的故事一样,精彩的部分 发生在中间或结尾,而不是开头。所以如果你们能容忍我的 老人作风,我想带你们回到2006年的NIPS,那时恐龙还在地球上漫步, Ben和我还是年轻活泼的小伙子。深度学习 刚刚在2006年引起轰动,训练算法很 复杂,结果与线性方法如PCA和线性 SPMS相当。在研讨会上,我们一些人闲聊时,有人指出 这也许应该与SVM等非线性方法进行比较,但当然在当时 你无法将SVM扩展到那个规模的数据集。Ben和我 都分别在研究随机算法,Ben用于压缩 感知,我用于草图以加速计算机视觉中的二分图匹配。 回家后,我们只用了两封邮件就想出了加速核 机器的方法。这两封邮件变成了那第一篇论文。想法 很简单:通常当你在数据集上训练核机器时,你在每个 数据点上放一个核,并为每个核分配相关的权重, 然后让你的优化器调整这些权重以最小化训练 损失。这是论文中的观察:当时人们使用的大多数核 可以近似为随机函数乘积的直和。 如果你将那个近似代入第一个方程,你会得到一个 直和的线性组合,这只是一个线性组合,但需要求解的

HN 上的讨论

> 这在逻辑上显而易见。你可以用神经网络重新创建任何线性回归。所以神经网络方法总是至少和线性回归一样好。 好吧,也许这在逻辑上显而易见,但它在经验上也是错误的:[VIDEO](跳到13:36看重点) > 但神经网络也可以建模非线性关系。现在问问自己,数据中存在非线性关系的可能性有多大?与大多数现实世界数据一样,非线性关系的可能性极高。这就是为什么我们可以相当确定神经网络方法能够优于线性回归。 正如我在这个线程其他地方所说,一个N层的深度神经网络可以分解为一个N-1层的复杂非线性函数,后跟该函数生成的非线性特征的线性组合。没有法律规定你必须使用神经网络来生成你的非线性特征。你可以使用任何你喜欢的方法,然后线性组合那些。 — Calavar, 2024-02
"不存在不崇拜这回事。每个人都在崇拜。我们唯一的选择是崇拜什么。而选择某种神或精神类的东西来崇拜——无论是JC还是安拉,无论是YHWH还是巫术母亲女神,或者四圣谛,或者某些不可侵犯的伦理原则——的令人信服的理由是,几乎任何其他你崇拜的东西都会把你活活吞噬。如果你崇拜金钱和物质,如果它们是你从中汲取生活真正意义的地方,那么你永远不会满足,永远不会觉得足够。这是事实。崇拜你的身体、美貌和性吸引力,你会总是觉得自己丑陋。当时间和年龄开始显现时,在他们最终为你哀悼之前,你会死一百万次。在某个层面上,我们都已经知道这些。它被编纂为神话、谚语、陈词滥调、警句、寓言;每个伟大故事的骨架。整个诀窍是让真相在日常意识中保持在前列。" - DFW 学术科学类似于宗教,有其教条、裙带关系、官僚机构和讨好权贵的口号。特别是深度学习,类似于现代炼金术 [1]。[1] [VIDEO] — psychomugs, 2023-01
机器学习是炼金术 [VIDEO] 。我们需要理解优化来推动这个领域的发展,而不是训练成千上万只猴子去按播放键,然后指望得到一个好结果。另外,他们为什么没有决定教1%的人口基础编程。现在这可以改变一个社会。 — Mortiffer, 2019-01

相关视频