[CVPR'21 WAD] 主题演讲 - Andrej Karpathy,特斯拉

[CVPR'21 WAD] Keynote - Andrej Karpathy, Tesla

频道:WAD at CVPR · 时长:31:31 · 发布:2021-06-24 · 播放:51361

在 YouTube 观看

简介

Andrej Karpathy,时任特斯拉AI负责人,在CVPR 2021研讨会上发表主题演讲,介绍Autopilot的神经网络如何工作。很大一部分内容涉及转向纯视觉堆栈,包括为什么放弃雷达以及视觉如何产生深度估计。

HN 为什么推荐

HN评论者在特斯拉相关讨论中引用它,作为特斯拉为什么移除雷达以及其视觉深度估计如何工作的第一手解释。

这个演讲值得一看(在我看来任何Karpathy或Carmack的演讲都值得) — HN, 2023

机器学习与深度学习 · 自动驾驶与自主车辆 · 计算机视觉、语音与 NLP

中文字幕节选

呃,是的,我非常激动能来到这里,感谢介绍,呃,我想 多谈谈特斯拉过去几个月在做什么,呃,首先 开始,呃,我想我们是在CVPR自动驾驶研讨会上,所以我觉得 我有点在向核心听众布道,呃,但我想先从一些幻灯片开始, 比如我们为什么做这一切,我认为不幸的是,我们在 社会交通方面状况不佳,呃,基本上问题在于 我们有这些金属物体以极快的速度行驶,并带有非常高的 动能,而我们却把肉放进了控制回路中,放进了系统里, 所以这非常不可取,而从根本上说,问题在于 人们不太擅长驾驶,他们陷入很多麻烦和事故,他们 不想开车,而且从经济角度,我们把人们卷入了 交通中,当然我们想自动化交通,真正收获 自动化在社会中的好处,所以我想我们都同意 应该可以用硅基计算机取代肉计算机, 并从中获得很多好处,在安全、便利和经济方面。 所以特别是,呃,硅基计算机的延迟显著更低,它们有 360度态势感知,它们完全专注,从不查看 Instagram,呃,解决了所有呈现的问题,所以我认为 这并不太令人震惊,很多人一直非常期待 这种功能,这是《我,机器人》的一个画面,呃,一部非常好的电影, 如果你没看过的话,这里威尔·史密斯即将手动驾驶汽车,呃, 这里的另一个人很震惊这会发生,这太荒谬了, 比如为什么你会让人来开车,呃,所以我认为这 离真相不远,这部电影发生在2035年,呃,所以我认为到那时 呃,我实际上认为这是一个相当准确的预测,呃,所以我认为 特斯拉的独特之处,呃,在我们实现自主性的方法上,是我们采取非常 渐进的方式来解决这个问题,特别是我们已经有客户 使用Autopilot套件,我们有数百万辆车,呃,我们的Autopilot 软件一直在运行,提供主动安全功能,当然还有 Autopilot功能,所以我们今天为客户提供额外的安全和便利, 同时团队也在研究全自动驾驶能力,所以我 想简要地快速谈谈我们提供的价值,只是给你们 一些例子,说明团队在做什么,我们今天在做什么,呃,所以 这里是一个自动紧急制动场景,呃,这里的司机正在 通过一个十字路口,你可以看到麻烦即将来临,呃,所以这个人 从这里爬出来,车看到了行人,物体检测启动,我们 猛踩刹车,避免了碰撞,这里是一个交通控制 警告的例子,所以这个人可能没注意,可能在打电话, 没有为前方的红绿灯刹车,但我们看到这些是相关的交通 灯,它们是红色的,我们发出蜂鸣声,这个人立即开始减速, 可能,呃,你知道,实际上没有进入十字路口,呃,这些是例子 来自,呃,踏板误用缓解(PMM),这里一个人正在从他们的 停车位出来,他们试图转弯,然后搞砸了,他们不小心 猛踩油门,所以他们在那里猛踩油门,系统启动,它看到行人 在我们前方,它猛踩刹车,扭转了,呃,一个非常糟糕的 情况,在这个案例中,呃,这是另一个我能简要展示的最后一个场景,所以这个 人试图停车,呃,他们在这里向右转,他们打算踩 刹车,但实际上猛踩了油门,呃,系统再次看到没有

HN 上的讨论

这个演讲值得一看(在我看来,任何卡帕西或卡马克的演讲都值得一看):[VIDEO] 具体来说,这是相关部分:[VIDEO] 他们移除雷达是因为它让事情变得更糟。 — fossuser, 2023-05
雷达分辨率低,这意味着它无法总是区分靠近车辆路径的物体和位于车辆路径中的物体。当路边有卡车或立交桥上有金属标志时,雷达可能会产生误报。然后你必须使用视觉摄像头来弄清楚实际情况。雷达有时也会失去“锁定”,这在汽车快速刹车时可能是个问题。当前方车辆急刹车时,雷达会显示“未检测到障碍物”。同样,你必须使用视觉摄像头来弄清楚实际情况。特斯拉的人认为雷达产生的噪音大于帮助,所以去年他们移除了雷达。安德烈·卡帕西在这次演讲中更详细地解释了这一点:[VIDEO] — ggreer, 2022-05
> 这些是同样可能导致人类用肉眼发生交通事故的事情,所以真的没有逻辑理由假设你可以通过仅模拟人类视觉来创建一个性能更好、更安全的计算机驾驶员。 好的。这是一个具体的说法,我认为是可以证伪的。我将给出不止一个,而是多个论点。 论点1:四子棋、国际象棋、跳棋、围棋、有限注德州扑克、无限注德州扑克、扑克、DOTA和星际争霸II都是AI在拥有同等感官访问权限的情况下超越最优秀人类的游戏例子。驾驶可以简化为一个类似于玩不完全信息游戏的问题,我们可以使用计算机以超人类水平玩不完全信息游戏。因此,即使只有人类级别的感官访问权限,也可以实现比人类更安全的性能,这是合理的预期。 论点2:目前我们有驾驶员辅助程序的统计数据,表明人类+技术辅助优于单独的人类。即使在那些辅助技术仅使用视觉的情况下也是如此。所以我们有一个矛盾。如果仅凭人类感官不可能做得比人类更好,我们就无法指出许多不同情况下AI驾驶明显优于人类… — JoshCole, 2022-05
如果你感兴趣的话,特斯拉的 AI 负责人最近公开演示了他们基于视觉的新深度系统。如果你觉得这类东西有意思,也喜欢了解前沿技术,那这个值得一看。[VIDEO] 一个关键要点是,他们已经在所有人的特斯拉上以影子模式(验证输出但不控制车辆)运行这套技术栈相当长一段时间了。相当于 1000 年的真实世界驾驶里程。而且从这些数据中,他们已经证明它在所有情况下都优于雷达。 — simondotau, 2021-07
他谈论的是在CVPR上的长篇技术演讲。[VIDEO] 例如,看看这个部分:[VIDEO] 另外,如果你深入研究,你会发现谷歌的自动驾驶汽车项目也遇到了类似的问题。他们针对问题升级了雷达而不是移除它,但确实存在实际问题。在他们的技术栈中,仅视觉比雷达加视觉更好。对于驾驶中经常出现的现实世界情况,雷达不值得。传感器融合的理论准确性在实践中没有实现,因为在实践中,你需要视觉来告诉你传感器融合何时不准确。这不是玩具数学模型中那种幼稚的传感器融合。所以当出现分歧时,你需要依赖视觉。然而视觉已经能够预测雷达的失败和实际结果。理论上,你可以进行更复杂的传感器融合。但在实践中,改进视觉栈其他部分的相对优势远远超过了改进传感器融合。随着时间的推移,人们会预期相对优势会随着其他改进而变化,以至于这不再成立。这并不意味着当时的决定不正确,只是意味着那些在已经存在未来变化的情况下评估它的人患有后见之明偏见/犯了… — JoshCole, 2023-04

相关视频