No Priors 第80期 | 对话 OpenAI 和特斯拉的 Andrej Karpathy
No Priors Ep. 80 | With Andrej Karpathy from OpenAI and Tesla
频道:No Priors: AI, Machine Learning, Tech, & Startups · 时长:44:16 · 发布:2024-09-05 · 播放:244075
简介
No Priors 播客与 Andrej Karpathy 的对话,涵盖自动驾驶(特斯拉与 Waymo 对比)、Optimus 机器人、AI 发展的瓶颈以及他的教育项目 Eureka Labs。
HN 为什么推荐
评论者引用它来了解 Karpathy 对特斯拉与 Waymo 对比、神经网络作为通往 AGI 的路径以及互联网数据对 LLM 质量的看法。
他详细讲了5分钟,解释为什么他相信特斯拉领先于 Waymo,并将在规模上击败他们。 — HN, 2024
中文字幕节选
[掌声] 嗨,听众们,欢迎回到No Priors,今天我们请来了Andre Karpathy,无需介绍,Andre是著名研究员、备受喜爱的AI教育者 和早期OpenAI团队成员,特斯拉Autopilot负责人,现在 致力于AI教育。我们将与他讨论研究现状、他的新 公司以及我们对AI的期待。感谢你今天加入我们,很高兴 有你在这里。谢谢,我很高兴能来。你领导了特斯拉的Autopilot,现在 我们实际上有完全自动驾驶的乘用车在路上,你如何 看待我们在能力集方面的位置,我们应该多快看到 能力提升或普及乘用车。嗯,是的,我花了大概五 年时间在自动驾驶领域,我觉得这是个迷人的领域,基本上 现在这个领域正在发生的事情是,嗯,我也确实认为我经常 从自动驾驶中类比AGI,也许只是因为我 熟悉它,但我有点感觉我们在自动驾驶中已经有点达到AGI了 因为今天有些系统你可以基本上带着到处走,作为 付费客户可以在这里使用,所以我们在旧金山这里的Waymo当然非常 常见,可能你坐过Waymo,我坐过很多次,它很棒,它可以 带你到处去,你作为产品付费。Waymo有趣的地方 是,我第一次坐Waymo实际上是十年前,几乎 正好是2014年左右,是我一个在那里工作的朋友,他给了我一个 演示,它带我绕了一圈,十年前,它基本上完美地 驾驶,十年前,然后花了十年时间从那个演示到我 可以付费的产品,在城市规模上,并且还在扩展等等。你认为 其中多少是监管原因,多少是技术原因?你认为技术 何时准备好的?我认为技术,你只是没在单次30分钟的演示驾驶中 看到它,你没有遇到他们十年来必须处理的 所有事情,所以演示和产品之间有一个巨大的差距,我认为 很多也是监管等原因,但我确实认为我们有点在自动驾驶 领域实现了AI,在这个意义上有点,然而我认为真正 迷人的是全球化根本没有发生,所以你有一个 演示,你可以在旧金山体验,但世界还没有改变,那 将需要很长时间,所以从演示到实际全球化, 我认为有一个很大的差距,这就是它与AGI的关系,因为我 怀疑类似地,当我们得到AGI时,它会以类似的方式出现, 然后在这个自动驾驶领域再待一分钟,我认为人们认为 Waymo领先于特斯拉,我个人认为特斯拉领先于Waymo,我知道 看起来不是那样,但我仍然非常看好特斯拉和它的自动驾驶 项目。我认为特斯拉有软件问题,我认为Waymo有硬件 问题,这是我表达的方式,我认为软件问题更容易。特斯拉有 所有这些汽车在地球上的部署,大规模地,我认为Waymo需要 达到那里,所以当特斯拉达到可以 实际部署并且实际工作的地步时,我认为那将是真的 不可思议。最新的版本,我昨天刚开过,我的意思是它现在带我 到处跑,他们做出了非常好的改进,我会说非常 最近。是的,我最近经常使用它,它实际上工作得相当好, 昨天它为我做了一些奇迹般的驾驶,所以我非常印象深刻 团队正在做的事情,所以我仍然认为特斯拉主要是软件问题,Waymo
HN 上的讨论
在这里查看视频。[VIDEO] 他不仅仅是礼貌地说他喜欢特斯拉,而是详细地谈了5分钟,确切地说明为什么他认为特斯拉领先于Waymo,并将击败他们实现规模化。 — modeless, 2024-10
对。在最近的一次YouTube采访中,Karpathy声称LLM拥有比人类多得多的“工作记忆”:[VIDEO] 我假设他指的是内部激活,例如存储在KV缓存中的激活,其生命周期与输入中的标记相同,但这与“工作记忆”并不相同,因为这些与输入绑定且不会改变。对于这类迭代/序列任务,LLM似乎需要做得更好的是真正的工作记忆,它具有更任意的任务持续时间生命周期,并且可以更新(相对于固定的KV缓存),并允许它在任务过程中跟踪进度或更一般地维护上下文(英语用法——不是LLM)。我有点惊讶这种类型的工作记忆还没有被添加到Transformer架构中。似乎可以简单到在上下文中设置一个固定(非移动)区域,LLM可以在训练期间学习读写,以协助这类任务。另一种将嵌入作为工作记忆的替代方案是使用外部文本文件(参见待办事项列表或工作笔记)用于此目的,这显然是Claude Code用来在长时间内保持专注的方法,我最近… — HarHarVeryFunny, 2025-10
Karpathy本人认为神经网络完全有可能成为AGI的关键组成部分。他曾表示,它不需要被更好的东西取代,只是它周围的一切(尤其是基础设施)需要改进。作为世界上关于这个主题最有价值的观点之一,我倾向于相信他所说的。来源:[VIDEO] — 93po, 2024-09
这实际上对每个人都有好处。如果我们迄今为止的联合创造性工作最终被证明是启动实现富足伟大机会所必需的(如果你不相信这一点,如果这一切都是徒劳的,那为什么还要关心浪费在模型上的钱呢?),那么支持它可能只是我们的社会道德义务——正如模型创造者维护他们在这笔交易中的承诺也是他们的道德义务一样。有趣的是,Andrej Karpathy最近描述我们正在争论的数据对于构建更好的LLM来说或多或少是不理想的,但意外地足够好,以至于到目前为止它一直有效([VIDEO])。我们拭目以待。 — jstummbillig, 2024-09
Karpathy本人认为神经网络完全有可能成为AGI的关键组成部分。他曾表示,它不需要被更好的东西取代,只是它周围的一切(尤其是基础设施)需要改进。作为世界上关于这个主题最有价值的观点之一,我倾向于相信他所说的。来源:[VIDEO] 我认为,拥有最有效观点的人的共识是,AGI实际上并不遥远,肯定在我们有生之年,很可能在未来十年内。我个人并不担心我们是否在计算机中重现人类,事实上,我们可能最好不要这样做。如果我们能取代几乎所有体力劳动、所有软件开发和所有驾驶,那么我会对“AGI”的自动化状态感到非常满意(社会影响暂且不论)。 — 93po, 2024-09
相关视频
- 你的洗碗机比你想象的要好(提示、技巧以及它们如何工作) · Technology Connections · 27:46
- 高清费曼:想象之乐完整版(含中文字幕) · Christopher Sykes · 1:06:49
- 寻找缺失的忆阻器 - R. Stanley Williams · The Qualcomm Institute · 47:52
- 比你家的更好的古董烤面包机 · Technology Connections · 18:28
- Halide 演讲 · Andrew Adams · 25:51
- 与 Elon Musk 的 Starbase 之旅 [第一部分 // 2021 年夏季] · Everyday Astronaut · 53:17
- 采样解析:Daft Punk - One More Time · TRACKLIB · 0:51
- 模拟整个汽车引擎(是的,它会发出声音) · AngeTheGreat · 12:03
- Jim Simons(完整版访谈)- Numberphile · Numberphile2 · 1:00:43
- 自动驾驶汽车将如何摧毁城市(以及该如何应对) · Not Just Bikes · 54:37
- Steve Jobs 2005 年斯坦福大学毕业演讲 · JoshuaG · 14:34
- 发生在马身上的事正在发生在我们身上 · CGP Grey · 15:00
- Alan Kay - 正常被认为有害 · powerfuloutlet · 1:07:26
- 培育语言,作者:Guy Steele · Bill Pugh · 53:31
- 软件设计哲学 | John Ousterhout | Talks at Google · Talks at Google · 1:01:40
- “Uncle” Bob Martin - “编程的未来” · Paul Stringer's Mobile Tech · 1:18:21