Andrej Karpathy:特斯拉 AI、自动驾驶、Optimus、外星人和 AGI | Lex Fridman 播客 #333
Andrej Karpathy: Tesla AI, Self-Driving, Optimus, Aliens, and AGI | Lex Fridman Podcast #333
频道:Lex Fridman · 时长:3:28:47 · 发布:2022-10-29 · 播放:3970003
简介
Lex Fridman 与 Andrej Karpathy 的长篇对话,涉及特斯拉的自动驾驶方法、Optimus、神经网络、transformers、AGI 等。还触及了他在 OpenAI 的工作以及与 Elon Musk 的合作。
HN 为什么推荐
被引用是因为 Karpathy 对纯摄像头自动驾驶、transformers 和 ML 趋势的第一手解释。
任何认真对这个话题感兴趣的人都应该听 Lex Friedman 对 Andrej Karpathy 的采访 — HN, 2023
机器学习与深度学习 · AI 安全、AGI 与影响 · 自动驾驶与自主车辆
中文字幕节选
- 我认为物理学可能存在漏洞, 我们应该尝试找到它们。 安排某种疯狂的量子力学系统, 以某种方式给你缓冲区溢出, 以某种方式在浮点数中给你舍入误差。 合成智能就像是发展的下一个阶段。 我不知道它会导向何处,在某个时刻 我怀疑宇宙是某种谜题。 这些合成人工智能将揭开那个谜题并解决它。 - 以下是与安德烈·卡帕西的对话, 他曾是特斯拉的人工智能总监。 在此之前,他在OpenAI和斯坦福工作。 他是最伟大的科学家、工程师 和人工智能历史上的教育家之一。 这是莱克斯·弗里德曼播客。 为了支持它,请查看我们的赞助商。 现在,亲爱的朋友们,有请安德烈·卡帕西。 什么是神经网络,为什么它似乎在学习方面 做得如此出奇地好? - 什么是神经网络? 它是大脑的数学抽象。 我想说,这就是它最初被开发出来的方式。 归根结底,它是一个数学表达式, 当你深入探究时,它是一个相当简单的数学表达式。 它基本上是一系列乘法器, 数学上就是点积,并加入一些非线性。 所以它是一个非常简单的数学表达式,并且里面有旋钮。 - 很多旋钮。 - 很多旋钮。 这些旋钮大致与你大脑中的突触相关。 它们可训练。它们可修改。 所以想法是,我们需要找到旋钮的设置,使神经网络 做任何你想让它做的事情,比如分类图像等等。 所以我想说,其中并没有太多神秘之处。 你可能会认为,基本上,你不想赋予它 太多关于大脑及其运作方式的意义。 它真的只是一个带有旋钮的复杂数学表达式。 这些旋钮需要适当的设置,才能让它做出令人满意的事情。 - 是的。但诗歌只是带有空格的字母集合, 但它能让我们产生某种感觉。 同样地,当你把大量旋钮组合在一起时, 无论是在大脑内部还是计算机内部, 它们似乎以其力量让我们惊讶。 - 是的。我认为这是公平的。 所以基本上,我认为我大大低估了它,因为你确实会得到 非常令人惊讶的涌现行为,当这些神经网络足够大 并在足够复杂的问题上训练时。 比如说,下一个词预测 在来自互联网的大规模数据集上。 然后这些神经网络呈现出相当令人惊讶的魔法特性。 是的,我认为这很有趣,你能从 即使非常简单的数学形式中获得多少。 - 你的大脑现在在说话时,是在做下一个词预测 还是在做更有趣的事情? - 嗯,它肯定是某种生成模型, 类似GPT,并由你提示。 - [莱克斯] 是的。 - 所以你给了我一个提示, 我以生成的方式回应它。 - 也许你自己也添加了一点, 比如你从自己脑海中的记忆里添加额外的提示吗? - 嗯,感觉确实像是在引用 某种陈述性的记忆结构等等。 然后你把它和你的提示放在一起,给出一些答案。 - 你刚才说的话有多少是你以前说过的? - 基本上没有,对吧? - 不,但如果你真的去看你一生中 说过的所有词,然后搜索一下, 你可能会发现很多相同的词以相同的顺序出现过。 - 是的,有可能。我是说,我用的都是常见的短语等等, 但归根结底,我把它们重新组合成了一个相当独特的句子。
HN 上的讨论
任何认真对这个话题感兴趣的人都应该听听Lex Friedman对Andrej Karpathy的采访:[VIDEO] — tdalaa, 2023-01
我的理解是,LLM中的transformer层基本上在做类似于消息传递的事情,它就像一台迷你计算机。在预测下一个词时,它必须理解很多不同种类的主题。我的理解有点模糊,因为我自己没有编写过代码,但这是我从这个解释中得到的要点(从36:21开始)[VIDEO] — meken, 2022-12
Andrej Karpathy最近上了Lex Fridman的播客,在一定程度上谈到了这个问题。他对这个话题有相同的观点,并进行了相当多的扩展。总的来说,我觉得很值得一听 - [VIDEO] 我喜欢他在物理学中寻找0-day漏洞的想法。:) — jcims, 2022-11
我一直觉得难以调和的部分不是埃隆·马斯克如此大力推行“不需要激光雷达”的说法,而是安德烈·卡帕西,我通常认为他在这个领域是非常可靠的声音,也强烈同意摄像头就足够了。有人知道他是否仍然相信摄像头就是一切吗?编辑:这是卡帕西讨论权衡的链接:[VIDEO] — kamranjon, 2025-07
显然,这是特斯拉AI持续努力和目标之一,也是他们收集如此多数据的原因。莱克斯·弗里德曼的播客中有些讨论[1]。[1] [VIDEO] — nomel, 2025-02
相关视频
- Blender 运动跟踪 - 房间改造! · IanHubert · 7:57
- TSP #133 - 是德科技UXR 110GHz带宽、256GS/s、10位实时示波器拆解与实验 · The Signal Path · 54:34
- DNA 动画 (2002-2014) 由 Drew Berry 和 Etsuko Uno 制作 wehi.tv #ScienceArt · WEHImovies · 7:19
- 如何制作红外冷却涂料(无需电力的空调) · NightHawkInLight · 25:34
- Marcus Hutter:通用人工智能、AIXI 和 AGI | Lex Fridman 播客 #75 · Lex Fridman · 1:39:55
- 我仍然乳糖不耐受吗?——乳糖基因治疗更新 · The Thought Emporium · 12:24
- 比尔·哈德尔模仿阿诺德·施瓦辛格 [DeepFake] · Ctrl Shift Face · 3:11
- Brendan Eich:JavaScript、Firefox、Mozilla 和 Brave | Lex Fridman 播客 #160 · Lex Fridman · 2:59:19
- 我用酵母培育出了真正的蜘蛛丝 · The Thought Emporium · 32:46
- 柯达如何揭露核试验 · Veritasium · 13:19
- 火星直升机(在前往火星之前) · Veritasium · 16:00
- 乔·罗根体验 #1109 - 马修·沃克 · PowerfulJRE · 1:55:32
- 电子传递链 · Harvard Online · 7:44
- 用DIY微天平测量睫毛的质量 · Applied Science · 7:44
- 拥有三种超能力的蜘蛛 | 猎捕 | BBC Earth · BBC Earth · 3:59
- Joscha Bach:人工意识与现实本质 | Lex Fridman 播客 #101 · Lex Fridman · 3:00:18
- mRNA 翻译(高级) · DNA Learning Center · 3:03
- 超级尖头短跑导弹 - 15秒内从0到10马赫 - 100G与6000°F · Dark Footage · 6:00
- 行列式 | 第6章,线性代数的本质 · 3Blue1Brown · 10:03