Andrej Karpathy:特斯拉 AI、自动驾驶、Optimus、外星人和 AGI | Lex Fridman 播客 #333

Andrej Karpathy: Tesla AI, Self-Driving, Optimus, Aliens, and AGI | Lex Fridman Podcast #333

频道:Lex Fridman · 时长:3:28:47 · 发布:2022-10-29 · 播放:3970003

在 YouTube 观看

简介

Lex Fridman 与 Andrej Karpathy 的长篇对话,涉及特斯拉的自动驾驶方法、Optimus、神经网络、transformers、AGI 等。还触及了他在 OpenAI 的工作以及与 Elon Musk 的合作。

HN 为什么推荐

被引用是因为 Karpathy 对纯摄像头自动驾驶、transformers 和 ML 趋势的第一手解释。

任何认真对这个话题感兴趣的人都应该听 Lex Friedman 对 Andrej Karpathy 的采访 — HN, 2023

机器学习与深度学习 · AI 安全、AGI 与影响 · 自动驾驶与自主车辆

中文字幕节选

- 我认为物理学可能存在漏洞, 我们应该尝试找到它们。 安排某种疯狂的量子力学系统, 以某种方式给你缓冲区溢出, 以某种方式在浮点数中给你舍入误差。 合成智能就像是发展的下一个阶段。 我不知道它会导向何处,在某个时刻 我怀疑宇宙是某种谜题。 这些合成人工智能将揭开那个谜题并解决它。 - 以下是与安德烈·卡帕西的对话, 他曾是特斯拉的人工智能总监。 在此之前,他在OpenAI和斯坦福工作。 他是最伟大的科学家、工程师 和人工智能历史上的教育家之一。 这是莱克斯·弗里德曼播客。 为了支持它,请查看我们的赞助商。 现在,亲爱的朋友们,有请安德烈·卡帕西。 什么是神经网络,为什么它似乎在学习方面 做得如此出奇地好? - 什么是神经网络? 它是大脑的数学抽象。 我想说,这就是它最初被开发出来的方式。 归根结底,它是一个数学表达式, 当你深入探究时,它是一个相当简单的数学表达式。 它基本上是一系列乘法器, 数学上就是点积,并加入一些非线性。 所以它是一个非常简单的数学表达式,并且里面有旋钮。 - 很多旋钮。 - 很多旋钮。 这些旋钮大致与你大脑中的突触相关。 它们可训练。它们可修改。 所以想法是,我们需要找到旋钮的设置,使神经网络 做任何你想让它做的事情,比如分类图像等等。 所以我想说,其中并没有太多神秘之处。 你可能会认为,基本上,你不想赋予它 太多关于大脑及其运作方式的意义。 它真的只是一个带有旋钮的复杂数学表达式。 这些旋钮需要适当的设置,才能让它做出令人满意的事情。 - 是的。但诗歌只是带有空格的字母集合, 但它能让我们产生某种感觉。 同样地,当你把大量旋钮组合在一起时, 无论是在大脑内部还是计算机内部, 它们似乎以其力量让我们惊讶。 - 是的。我认为这是公平的。 所以基本上,我认为我大大低估了它,因为你确实会得到 非常令人惊讶的涌现行为,当这些神经网络足够大 并在足够复杂的问题上训练时。 比如说,下一个词预测 在来自互联网的大规模数据集上。 然后这些神经网络呈现出相当令人惊讶的魔法特性。 是的,我认为这很有趣,你能从 即使非常简单的数学形式中获得多少。 - 你的大脑现在在说话时,是在做下一个词预测 还是在做更有趣的事情? - 嗯,它肯定是某种生成模型, 类似GPT,并由你提示。 - [莱克斯] 是的。 - 所以你给了我一个提示, 我以生成的方式回应它。 - 也许你自己也添加了一点, 比如你从自己脑海中的记忆里添加额外的提示吗? - 嗯,感觉确实像是在引用 某种陈述性的记忆结构等等。 然后你把它和你的提示放在一起,给出一些答案。 - 你刚才说的话有多少是你以前说过的? - 基本上没有,对吧? - 不,但如果你真的去看你一生中 说过的所有词,然后搜索一下, 你可能会发现很多相同的词以相同的顺序出现过。 - 是的,有可能。我是说,我用的都是常见的短语等等, 但归根结底,我把它们重新组合成了一个相当独特的句子。

HN 上的讨论

任何认真对这个话题感兴趣的人都应该听听Lex Friedman对Andrej Karpathy的采访:[VIDEO] — tdalaa, 2023-01
我的理解是,LLM中的transformer层基本上在做类似于消息传递的事情,它就像一台迷你计算机。在预测下一个词时,它必须理解很多不同种类的主题。我的理解有点模糊,因为我自己没有编写过代码,但这是我从这个解释中得到的要点(从36:21开始)[VIDEO] — meken, 2022-12
Andrej Karpathy最近上了Lex Fridman的播客,在一定程度上谈到了这个问题。他对这个话题有相同的观点,并进行了相当多的扩展。总的来说,我觉得很值得一听 - [VIDEO] 我喜欢他在物理学中寻找0-day漏洞的想法。:) — jcims, 2022-11
我一直觉得难以调和的部分不是埃隆·马斯克如此大力推行“不需要激光雷达”的说法,而是安德烈·卡帕西,我通常认为他在这个领域是非常可靠的声音,也强烈同意摄像头就足够了。有人知道他是否仍然相信摄像头就是一切吗?编辑:这是卡帕西讨论权衡的链接:[VIDEO] — kamranjon, 2025-07
显然,这是特斯拉AI持续努力和目标之一,也是他们收集如此多数据的原因。莱克斯·弗里德曼的播客中有些讨论[1]。[1] [VIDEO] — nomel, 2025-02

相关视频