关于泛化的观察
An Observation on Generalization
频道:Simons Institute for the Theory of Computing · 时长:57:21 · 发布:2023-08-14 · 播放:211694
简介
Ilya Sutskever 在西蒙斯研究所的演讲,探讨神经网络为何能泛化,将学习视为寻找简短描述,就像压缩一样。这是大型语言模型和 Transformer 项目的一部分。
HN 为什么推荐
在关于学习即压缩以及神经网络为何能泛化的讨论中被引用。
Ilya 认为神经网络泛化的原因——它们为何能起作用——是因为它们实际上是在寻找一个简单的描述 — HN, 2026
机器学习与深度学习 · 大语言模型与生成式 AI · 信息论与信号处理
中文字幕节选
崔艺珍:它的引用数有六位数。 超过139,000,而且还在不断增加。 所以非常期待听到Ilya关于LLM和未来的看法。 交给你了。Ilya Sutskever:好的。 嗨。[掌声] 嗨。大家好。 谢谢介绍。 当Umesh邀请我参加这个活动时,我非常兴奋。 我看了所有演讲者名单。 我想,太好了,我会去讲点什么。 然后我遇到了一个问题,那就是我们在OpenAI做的很多技术工作 其实我不能谈论。 [笑声] 所以我绞尽脑汁想我能谈什么。 现在,就在不久前, 我把所有研究重点都转向了AI对齐。 我们会有非常酷的成果展示,但不是现在。 所以我想,这得留到下次演讲了。 但这次演讲讲什么好呢? 我想到了一个东西。 我要讲一些非常古老的结果, 那是我们多年前在OpenAI做的,早在2016年, 这些结果真正影响了我对无监督学习的思考方式。 我想和你们分享。 可能现在你们会觉得这些结果显而易见。 但也许不是全部。 所以至少有一小部分可能你会觉得有趣。 所以我想把期望值设得低一点,然后希望能超出。 所以,一个无监督学习理论。 这样的东西怎么可能存在? 在我们谈论无监督学习之前, 我们想谈谈一般的学习。 什么是学习?为什么学习能够起作用? 为什么学习应该能够起作用? 为什么计算机能够学习? 现在我们已经习以为常了。 我们理所当然地认为神经网络能够学习。 但为什么它们能?从数学上讲,为什么它们应该能? 为什么数据会有规律性,让我们的机器学习 模型能够捕捉?所以这不是一个显而易见的问题。 多年前在机器学习领域 发生的一个重要概念进展, 由多人共同完成,是监督学习的 发现和形式化。所以它被称为PAC学习, 或统计学习理论。 监督学习的好处在于 它给出了一个精确的数学条件, 在此条件下学习必定成功。 你被告知,如果你有一些数据,来自某个数据 分布,如果你设法实现了低的训练 损失,并且你的自由度数量 小于你的训练集,那么 你将实现低的测试误差。 并且你保证能做到这一点。 所以你有一个数学条件,你可以说,好吧,如果我确实 从我的函数类中找到了一个函数,它实现了低的训练误差, 那么学习将会成功。 你可以说,是的,这是一个非常合理的 数学事物,我们可以推理。 这就是为什么监督学习很容易。 然后你有了所有这些定理,我认为它们很简单。 我觉得它们很优雅。你可能见过这样的定理。 如果你有你的——基本上,就是这样的东西 如果你知道它,你会说,哦,对,就是那个东西。 如果你不知道,那就不可能用30秒解释清楚。 不过,用5分钟解释是可能的,只是30秒不行。 这些东西都不复杂。 然后你有一个小小的证明,它说,嗯, 如果你的函数类中有一定数量的函数, 那么你的训练误差与测试误差相差甚远的概率, 对于至少一个函数来说,这里有一些数学。 数学很简单。这就是全部的数学——三行数学。 所以三行数学就能证明整个监督学习。 嗯,那很好。那非常好。
HN 上的讨论
注意到关于Kolmogorov复杂度的理论论文。对于不熟悉的人,Ilya认为神经网络泛化的原因——它们为什么能工作——是因为它们实际上在寻找训练数据的简单描述,收敛到Kolmogorov复杂度的极限。[1] [1] [VIDEO] — jawarner, 2026-07
> 我们现在得到了神经网络训练目标的等价定义!LLM被训练来尽可能压缩互联网!很好的回报。其他人也指出了与压缩的关系([VIDEO])。 — JoshCole, 2025-09
我很好奇为什么网络不总是处于“干涉”状态,而是有时会坍缩成“受限”的ONB?> 我们在实践中观察到的神经网络在某种意义上是嘈杂地模拟更大、高度稀疏的网络。这似乎与Ilya Sutskever在这里提出的观点有些相关[1]:神经网络可以被视为对Kolmogorov压缩器的近似。推测来说,可以说任何网络都是理想压缩器(可以说完美地表示了n维ONB中的所有n个特征)投影到较低维空间,因此产生了干涉。但为什么并不总是有这样的干涉呢?[1] [VIDEO] — DigitalNoumena, 2023-08
相关视频
- 神经网络和反向传播的详细入门:构建micrograd · Andrej Karpathy · 2:25:52
- 但什么是傅里叶变换?视觉介绍。 · 3Blue1Brown · 19:41
- 但什么是神经网络?| 深度学习第一章 · 3Blue1Brown · 18:40
- D/A 与 A/D | 数字展示与讲解(Monty Montgomery @ xiph.org) · FL Studio · 23:52
- AlphaGo - 电影 | 完整获奖纪录片 · Google DeepMind · 1:30:28
- Transformer,LLM 背后的技术 | 深度学习第 5 章 · 3Blue1Brown · 27:14
- USENIX Security '18-Q:为什么主题演讲者不断建议改进安全性是可能的? · USENIX · 51:22
- 第一讲 | 机器学习(斯坦福) · Stanford · 1:08:40
- MarI/O - 视频游戏机器学习 · SethBling · 5:57
- 深入探讨 ChatGPT 等 LLM · Andrej Karpathy · 3:31:23
- 学会玩经典 NES 游戏的计算机程序 · suckerpinch · 16:17
- 快速傅里叶变换(FFT):史上最巧妙的算法? · Reducible · 28:23
- David Silver 强化学习课程 - 第一讲:强化学习导论 · Google DeepMind · 1:28:12
- 让我们从头构建 GPT:用代码,详细解释。 · Andrej Karpathy · 1:56:20
- 湾区视觉会议:无监督特征学习和深度学习 · Google TechTalks · 48:10
- A Hackers' Guide to Language Models · Jeremy Howard · 1:31:13