Andrej Karpathy (Tesla): CVPR 2021(描述中有更高质量版本)

Andrej Karpathy (Tesla): CVPR 2021 (see description for better quality version)

频道:YarrowFlower · 时长:37:46 · 发布:2021-06-21 · 播放:113772

在 YouTube 观看

简介

Andrej Karpathy在CVPR 2021上关于特斯拉Autopilot的演讲,涵盖其基于视觉的方法、传感器选择以及特斯拉深度学习计算集群的规模。此上传是演讲的低质量副本。

HN 为什么推荐

HN引用它作为特斯拉纯视觉推理、LIDAR论点以及传感器融合挑战的主要来源。

它相当长,但整个内容非常有趣 — HN, 2022

自动驾驶与自主车辆 · 计算机视觉、语音与 NLP

中文字幕节选

我看到 Andre 了,屏幕共享应该在工作,希望如此,让我们 试试 很不好意思地说,我几乎不用 Zoom,我知道这很令人震惊 是的 [音乐] 好的,看起来即使经验有限也能正常工作,好的 所以,呃,很荣幸介绍 Andre,呃,我得说我觉得他其实不太 需要太多介绍,呃,但没错,呃,他是特斯拉 AI 高级总监 他基本上监督并领导负责所有神经网络的团队 在 Autopilot 中,所以有了这个 呃,很荣幸你能来,我非常期待你的演讲,呃 好的,非常感谢介绍,我很高兴我能够在 Zoom 上展示一些令人印象深刻的零样本学习,好的,呃,我非常兴奋 能在这里,感谢介绍,嗯,我想多谈谈 特斯拉过去几个月在做什么,嗯,首先开始,呃,我想我们 在 CVPR 的自动驾驶研讨会上,所以我想我有点在向 核心听众布道,我想从一些幻灯片开始,比如为什么我们做所有这些 我认为不幸的是,在交通方面,社会状况不佳 基本上问题是,我们有这些金属物体以极快的速度行驶 具有非常高的动能,而我们 把肉放在控制回路中,所以这非常不理想 从根本上说,归根结底是人们不太擅长 驾驶,他们陷入很多麻烦,呃,事故,呃,他们不想开车 而且在经济方面,我们在交通中涉及人,当然 我们希望自动化交通,真正收获自动化的好处 在社会中,所以我想我们都同意,应该 可以用硅计算机取代肉计算机,并从中获得很多 好处,在安全、便利和经济方面,所以特别是 硅计算机具有显著的低延迟,它们有 360 度态势 感知,它们完全专注,从不查看 Instagram,呃,缓解 所有呈现的问题,所以我认为,呃,这并不太令人震惊 很多人一直期待这种功能 这是《我,机器人》的一帧,一部非常好的电影,如果你没看过,这里威尔 史密斯正要手动驾驶汽车,呃,这里的另一个人很震惊 这会发生,这太荒谬了,就像为什么你实际上要有一个 巨大的驾驶汽车,呃,所以我认为这离真相不远,这部电影 发生在 2035 年,呃,所以我认为到那时,嗯,实际上我认为这是一个相当 呃,现在的预测,呃,所以我认为特斯拉独特之处,呃,在我们 对自主性的方法上,是我们采取非常渐进的方法来解决这个 问题,所以特别是我们已经有客户使用 Autopilot 包,我们 有数百万辆车,呃,Autopilot 软件一直在运行 提供主动安全功能,当然还有 Autopilot 功能,所以我们 今天为我们的客户提供额外的安全和便利,团队 也在研究完全自动驾驶能力,呃,所以我真的想快速 谈谈我们提供的价值,只是给你们一些例子,说明 团队今天在做什么,呃,所以这里是一个自动紧急 制动场景,呃,所以这里的司机正在通过一个十字路口,你 可以看到麻烦来了,所以这个人从这里悄悄出现,汽车 看到行人,物体检测启动,我们猛踩刹车,我们避免了 碰撞,这里是一个交通控制警告的例子,所以这个人 可能没有注意,可能在打电话,没有为 前方的红绿灯刹车,但我们看到这些是相关的红绿灯,它们是红色的

HN 上的讨论

我真的很想听到特斯拉为他们不使用它们(激光雷达)的决定辩护。Andrej Karpathy 在这个视频中谈到了一些(视频相当长,但整个内容相当有趣):[VIDEO] — caf, 2022-02
如果我没记错的话,Karpathy 有一个演讲谈到了传感器融合的挑战,特别是在解决视觉和雷达堆栈之间的分歧方面:[VIDEO] 我的背景是物理学,但我发现自己越来越欣赏纯视觉堆栈。建立一个对异常值具有鲁棒性的世界的正式理解真的很有挑战性,这些异常值在城市环境中导航时如此之多。对于视觉,你有多种高度相关的信息(颜色、空间分布、深度等),这些信息是自洽的。而将雷达与视觉融合,其中物体对雷达的响应高度依赖于几何形状和材料,是一项困难得多的任务。我真的不是专家,所以这更像是一种观点而非经验之谈,但我能看到加倍投入视觉的优点。 — agoose77, 2022-07
立体视觉在人类中被高估了。你可以用一只眼睛轻松驾驶。我们使用大量信息来估计深度,包括物体的相对大小,以及“运动恢复结构”,即物体随时间的相对运动。特斯拉确实使用运动恢复结构(可能还有其他线索)来估计深度。他们在演示中称之为虚拟激光雷达。[VIDEO] — TaylorAlexander, 2022-03
首先,这个农场机器人项目太棒了!我期待在你的网站上阅读详细信息。感谢关于特斯拉的指点。之前没看过 Hydranet 的东西。大约两周前,Karpathy 在 CVPR 的一个研讨会上做了一场演讲……他透露了特斯拉当前一代深度学习集群的规模[1]。这太疯狂了!尽管从事工业研究,但我预计永远无法接触到那样的集群。我们目前的很多研究涉及端到端训练(一些复杂的东西,用 transformers 和其他网络拼接在一起)。有一个关于自动驾驶的 CVPR 教程[2],他们基本上说自动驾驶 2.0 就是关于端到端的。我和一些真正做商业自动驾驶的人聊过,他们似乎更怀疑端到端是否是近期的答案。我们考虑的一个想法是使用现有的冻结架构(OpenAI 发布了一些,其他大公司也发布了),并进行少量的微调。[1] [VIDEO] [2] [LINK] — brutus1213, 2021-07
[VIDEO] 在上面的视频中,Andrej Karpathy 声称 LIDAR 需要预先编译的地图,而创建这些地图是不可扩展的。你不同意这个观点吗? — adolph, 2021-07

相关视频