Richard Sutton – 强化学习之父认为大语言模型是死胡同

Richard Sutton – Father of RL thinks LLMs are a dead end

频道:Dwarkesh Patel · 时长:1:07:09 · 发布:2025-09-26 · 播放:810088

在 YouTube 观看

简介

Dwarkesh Patel 采访了强化学习先驱、图灵奖得主、《苦涩的教训》作者 Richard Sutton。Sutton 认为大语言模型是死胡同,因为它们无法在工作中学习,而从经验中持续学习将需要一种新的架构。

HN 为什么推荐

HN 评论者将其视为严肃怀疑论者反对大语言模型实现通用智能的论据,通常出现在关于规模扩展是否足够的辩论中。

Richard Sutton 在接受 Dwarkesh Patel 采访时持不同观点[2] — HN, 2025

机器学习与深度学习 · 大语言模型与生成式 AI · AI 安全、AGI 与影响

中文字幕节选

今天我和理查德·萨顿聊天,他是强化学习的奠基人之一, 也是该领域许多主要技术的发明者, 比如TD学习和策略梯度方法。 因此,他获得了今年的图灵奖, 如果你不知道的话,图灵奖相当于计算机科学界的诺贝尔奖。 理查德,恭喜你。 谢谢你,德瓦克什。感谢你邀请我来播客。 这是我的荣幸。第一个问题。我和我的观众 都熟悉从LLM角度思考AI的方式。 从概念上讲,从强化学习的视角思考AI, 我们缺失了什么? 这确实是一个非常不同的视角。 它们很容易被分开,失去相互交流的能力。 大型语言模型已经变得如此庞大, 生成式AI总体上也是一件大事。 我们的领域容易受到潮流和时尚的影响, 所以我们忘记了基本的东西。 我认为强化学习是基本的AI。什么是智能? 问题在于理解你的世界。 强化学习是关于理解你的世界, 而大型语言模型是关于模仿人类, 做人们说你应该做的事。它们不是关于弄清楚该做什么。 你可能会认为,为了模拟互联网文本语料库中数万亿的 token, 你必须构建一个世界模型。事实上,这些模型似乎确实拥有 非常稳健的世界模型。它们是AI领域迄今为止我们制造的最好的世界模型, 对吧?你认为缺失了什么? 我不同意你刚才说的大部分内容。 模仿人们说的话,根本不是在构建世界模型。 你是在模仿那些拥有世界模型的东西:人类。 我不想以对抗的方式 来探讨这个问题,但我会质疑 它们拥有世界模型这一观点。世界模型能让你 预测将会发生什么。它们有能力预测 一个人会说什么。它们没有 能力预测将会发生什么。我们 想要的,引用艾伦·图灵的话,是一台 能从经验中学习的机器,其中经验 是你生活中实际发生的事情。 你做事,你看到发生了什么,这就是你学习的东西。 大型语言模型从别的东西学习。 它们学习的是“这里有一个情境,这里是某个人做了什么”。 隐含的建议是,你应该做那个人做过的事。 我想也许关键点,我很好奇你是否 不同意这一点,就是有些人 会说模仿学习给了我们一个 好的先验,或者给了这些模型一个好的先验, 关于处理问题的合理方式。随着 我们迈向经验时代,正如 你所说的,这个先验将成为 我们基于经验来教这些模型的基础, 因为这给了它们有时得到正确答案的机会。 然后在此基础上,你可以用经验来训练它们。你同意这个观点吗? 不。我同意这是大型语言模型的视角。 我不认为这是一个好的视角。要成为某事物的先验, 必须有一个真实的事物。先验知识应该是 实际知识的基础。什么是实际 知识?在那个大型语言框架中 没有实际知识的定义。 是什么让一个行动成为值得采取的好行动? 你认识到持续学习的必要性。如果你需要持续学习, 持续意味着在与世界的正常互动中学习。 在正常互动过程中,必须有某种方式来判断什么是对的。 在大语言模型设置中,有没有什么方法能判断 该说什么才是对的? 你会说些什么,但你不会得到 关于该说什么才是对的反馈, 因为对于该说什么才是对的,并没有定义。没有

HN 上的讨论

Google的定义就足够了[0]。我甚至会说LLM甚至不是AI,但这可能有点迂腐。我赞同Richard Sutton的推理,即LLM(以及更一般的GPT模型)不像RL模型那样“智能”[1]。[0] - [LINK] [1] - [VIDEO] — solumos, 2026-07
这基本上就是Richard Sutton的整个论点在实时发生:[VIDEO] 现在,我们不断创建具有越来越大权重的新模型,并向其中投入硬件。他的论点是这是死胡同,最终我们会像AI开发历史上一直做的那样,回到适合目的的算法。 — mbesto, 2026-07
我认为它们实际上并不智能。固定所有随机种子和其他随机性来源,尝试同一个提示两次,然后检查它看起来有多智能,作为初步近似。在更技术的层面上,非常严肃的人提出了怀疑,例如Richard Sutton在与Dwarkash Patel的采访中[1]。[1] [VIDEO] — kbrkbr, 2026-05
Geoffrey Hinton最近在皇家研究所的讲座[1]是一个引人入胜的观看体验。他断言人类使用语言与带有反向传播的神经网络完全类似,这真的让我思考LLM可能能做什么,以及事实上,当我“思考”时,我内部发生了什么。对LLM“智能”的一个常见反对意见是“它们什么都不知道”。但反过来……生物智能又“知道”什么?例如,我“知道”如何做诸如编写构造,使复杂的可编程开关集合以某些方式行为,但我真正“理解”了什么?我被“教导”了关于量子力学、电子、半导体、晶体管、集成电路、指令集、符号逻辑、状态机、汇编、编译器、高级语言、代码模块、编辑器和格式化的知识。我在过程中通过试错“学到”了更多。但我最终得到的,实际上是不是只是一个内化的概念和相互连接的存储?(参见特征和权重)。Richard Sutton在与Dwarkesh Patel的采访[2]中持不同观点,并断言“学习”必须包括目标和奖励函数,但他的… — j1mr10rd4n, 2025-11
Richard Sutton,既是“强化学习”又是“苦涩的教训”背后的人,认为科技界需要更好地理解苦涩的教训:[LINK] 更长的分析:[VIDEO] (尝试)在TFA的背景下总结这些:构建者需要区分策略优化和程序优化。我想一个相关的问题(对初创公司和大科技公司都很重要)可能是:“一个人应该专注于做那些无法规模化的事情吗?” — gsf_emergency_4, 2025-10

相关视频