Ilya Sutskever(OpenAI 首席科学家)——为什么下一词预测可能超越人类智能
Ilya Sutskever (OpenAI Chief Scientist) — Why next-token prediction could surpass human intelligence
频道:Dwarkesh Patel · 时长:47:41 · 发布:2023-03-27 · 播放:791685
简介
Dwarkesh Patel 采访 OpenAI 首席科学家 Ilya Sutskever,谈 AGI 的时间表、生成模型之后是什么、数据限制、对齐问题以及与谷歌的竞争。标题聚焦于下一词预测是否可能超越人类智能。
HN 为什么推荐
HN 评论者主要引用它,是因为 Sutskever 表示训练数据远未耗尽。
OpenAI 的 Ilya Sutskever 说数据状况良好,还有更多数据可用于训练 — HN, 2023
大语言模型与生成式 AI · AI 安全、AGI 与影响 · 科技先驱与访谈
中文字幕节选
今天我很荣幸采访Ilya Sutskever, 他是OpenAI的联合创始人兼首席科学家。 Ilya,欢迎来到The Lunar Society。 谢谢,很高兴来到这里。第一个问题,不必谦虚。 在自己的领域做出重大突破的科学家并不多, 而能在整个职业生涯中 做出多个独立突破、 定义自己领域的科学家更是少之又少。 区别在哪里?是什么让你 与其他研究者不同?为什么你能够 在自己的领域做出多个突破? 谢谢你的美言。这个问题很难回答。 我非常努力, 我倾尽所有,到目前为止这很有效。 我想这就是全部了。 明白了。为什么GPT没有被更多非法使用? 为什么没有更多外国政府用它 来散布宣传或诈骗老奶奶? 也许他们还没有真正大规模地去做。 但如果有些正在发生,我也不会感到惊讶。 我当然可以想象 他们会拿一些开源模型 试图用于那个目的。 我肯定预期这会是 他们未来感兴趣的事情。技术上有可能他们只是 还没想够?或者还没有用他们的技术 大规模去做。或者也许正在发生,这很烦人。 如果正在发生,你能追踪到吗? 我认为大规模追踪是可能的,是的。 这需要特殊行动,但这是可能的。 现在有一个窗口期,AI具有很高的经济价值,比如说 达到飞机的规模,但我们还没有达到AGI。这个窗口有多大? 很难给出精确答案,而且这肯定会是一个 持续多年的好窗口。这也是一个定义问题。 因为AI在成为AGI之前, 会以指数方式逐年变得越来越有价值。 事后看来,可能会觉得只有 一年或两年,因为那两年 比之前的年份更大。但我想说, 已经,去年,AI已经产生了相当 多的经济价值。明年 会更大,之后越来越大。所以 我认为这会是一个持续多年的 好时期,这一点会成立, 从现在到AGI基本上都是。好的。因为我好奇是否有一家 初创公司正在使用你的模型,到了某个时候 如果你有了AGI,世界上就只有一个生意, 那就是OpenAI。任何企业实际上还有多少窗口期 在生产AGI无法生产的东西? 这跟问距离AGI还有多久是同一个问题。 这是个很难回答的问题。我不太愿意 给你一个数字。也因为存在这种 效应:从事这项技术的乐观者 往往会低估到达目标所需的时间。 但我让自己脚踏实地的方式是思考自动驾驶汽车。 特别是有一个类比:如果你看一辆特斯拉的大小, 再看它的自动驾驶行为, 它看起来什么都能做。但也很明显, 在……方面还有很长的路要走。 在……方面还有很长的路要走。 可靠性。而我们可能正处于类似的位置, 对于我们的模型来说,它看起来 我们也能做所有事情,同时, 我们还需要做更多的工作,直到我们真正 解决所有问题,让它变得非常好 非常可靠、稳健且行为良好。到2030年,AI占GDP的百分比是多少? 哦天哪,这个问题很难回答。给我一个上下限。 问题在于我的误差范围是对数 尺度的。我可以想象一个巨大的百分比, 同时也可以想象一个令人失望的小百分比。 好吧,让我们假设一个反事实情况,即它
HN 上的讨论
感谢那个很好的总结。> 我看到 Ilya 是对的 还有一些事情 Ilya[0](和 Hinton[1])。我在这里引用的部分是“那个 Reddit 评论”的例子,听起来正确但非常错误,而且我们知道它是错误的(并且已经知道它错误了几百年!)。然而,这也是我们不断需要学习的东西。它既明显又不明显,但你可以制作擅长预测事物的模型而不理解它们。让我分解一下以澄清。我在这里使用“模型”是广义的。不仅仅是机器学习模型,任何数学模型,甚至任何心理模型。通过“擅长预测事物”,我的意思是它可以做出准确的预测。关键是一切都在于定义“理解”部分。为此,我需要解释一下物理学家实际做什么,更准确地说,形而上学。人们认为他们处理数字,但不,他们是符号操纵者。在物理学中,你关心哈密顿量或拉格朗日量,你关心方程的形式。原因是它创建了一个反事实模型。F=ma(或 F=dp/dt)是反事实的。你可以在事后问“如果 m 是 … — godelski, 2025-08
> 计算具有方向性意味着什么?实际上,所有计算都具有方向性!这其实是一个让我非常兴奋的话题 ^__^ 想想看,我们有一个函数 f,输入 x,输出 y。f(x) -> y 我们甚至会用这种表示法!这就是我们的方向。现在,反过来就有点棘手了。如果反向是直接的,我们的函数就有逆函数。但情况并不总是如此。所以我们的函数 f(x)=mx+b 是可逆的,因为我们可以写成 x = (f(x)-b)/m(嗯... m 不能为 0),这提供了唯一解。每个 x 对应唯一的 f(x)。但如果换成函数 f(x) = x^2,这就不成立了!x = sqrt(f(x)),这里每个 f(x) 对应 x 和 -x!它们不唯一。如果你想沿着这条路走,我们可以开始采用像和原像的语言。这里有很多有趣的现象,如果你还没猜到,是的,这与 P=NP 问题有关!一个直观的方法是写下计算电路。Polylog 实际上有一个很好的视频,会… — godelski, 2025-06
我认为许多人错过了乔姆斯基所说的核心。沟通不畅往往很容易发生,我认为这主要是正在发生的事情。我认为他在这里给出的类比确实有助于强调他想说的话。如果你只读一部分,我认为是这一段: | 我提到了昆虫导航,这是一项惊人的成就。昆虫科学家在研究它是如何实现的方面取得了很大进展,尽管神经生理学,一个非常困难的问题,仍然难以捉摸,连同系统的进化。鸟类和海龟的惊人壮举也是如此,它们旅行数千英里并准确无误地返回原产地。 | 假设 Tom Jones,一个工程 AI 的拥护者,走过来说:“你的工作都被驳斥了。问题解决了。商业航空公司飞行员一直都能达到相同甚至更好的结果。” | 即使费心回应,我们也会大笑。 | 以波利尼西亚人的航海壮举为例,他们仍然生活在土著部落中,利用星星、风、洋流将独木舟降落在数百英里外的指定地点。这也一直是许多研究的主题,以找出他们是如何做到的。Tom Jones 有答案:“别浪费时… — godelski, 2025-05
在这次采访[1]中,伊利亚·苏茨克弗表示,他们甚至还没有接近耗尽数据。[1] [VIDEO] — lexandstuff, 2023-04
Ilya Sutskever(OpenAI 首席科学家):“是的,我会说数据情况仍然相当不错。还有很多可以挖掘的” - [VIDEO] 有传言说他们打算用 Whisper 转录 YouTube 视频,并将其用于训练。由于它是多模态的,将视频帧与转录文本一起纳入可以显著提升其性能。 — machdiamonds, 2023-04
相关视频
- Jim Simons(完整版访谈)- Numberphile · Numberphile2 · 1:00:43
- Steve Jobs 2005 年斯坦福大学毕业演讲 · JoshuaG · 14:34
- 发生在马身上的事正在发生在我们身上 · CGP Grey · 15:00
- Transformer,LLM 背后的技术 | 深度学习第 5 章 · 3Blue1Brown · 27:14
- Alan Kay - 正常被认为有害 · powerfuloutlet · 1:07:26
- 培育语言,作者:Guy Steele · Bill Pugh · 53:31
- 软件设计哲学 | John Ousterhout | Talks at Google · Talks at Google · 1:01:40
- “Uncle” Bob Martin - “编程的未来” · Paul Stringer's Mobile Tech · 1:18:21
- VCF East: Ken Thompson 接受 Brian Kernighan 采访 · Vintage Computer Federation · 1:03:51
- Hamming,“你和你的研究”(1995年6月6日) · securitylectures · 44:02
- 技术演讲:Linus Torvalds 谈 git · Google · 1:10:15
- 深入探讨 ChatGPT 等 LLM · Andrej Karpathy · 3:31:23
- Alan Kay 在“Intertwingled”节上对 Ted Nelson 的致敬 · TheTedNelson · 17:33
- Joe Rogan Experience #1035 - Paul Stamets · PowerfulJRE · 2:13:48
- “我对钱不感兴趣” - Ton Roosendaal 2017访谈 · Blender Guru · 1:46:51
- 所有演示之母,由Douglas Engelbart呈现(1968) · Marcel · 1:40:52