Figure 状态更新 - OpenAI 语音到语音推理
Figure Status Update - OpenAI Speech-to-Speech Reasoning
频道:Figure · 时长:2:35 · 发布:2024-03-13 · 播放:3090625
简介
Figure 发布的一段简短状态更新演示,展示其人形机器人使用 OpenAI 驱动的语音到语音推理进行对话并执行任务。
HN 为什么推荐
主要被引用为 LLM 控制机器人现状的示例,也有人怀疑这只是一段精心制作的演示视频。
中文字幕节选
嘿 Figure 01,你现在看到了什么? 现在我看到桌子中央的盘子上有一个红苹果,一个晾干架上面有杯子 和一个盘子,而你站在旁边,手放在桌子上。太好了,我能要 点吃的吗?当然可以。 太好了,你能解释一下你刚才为什么那样做吗?同时你捡起 这个 上面的垃圾。所以我给了你苹果,因为这是我能提供的唯一可食用 物品,从 桌子上。太好了,那么根据现在的场景,你觉得 你面前的餐具应该去哪里? 接下来桌子上的餐具,比如那个盘子和杯子,很可能会放进晾干 架里。太好了,你能把它们放 到那里吗?当然 可以。 [音乐] 好的,那你觉得你做得怎么样?我觉得我做得 相当不错。苹果找到了新主人,垃圾不见了,桌子上的餐具 也回到了该在的地方。我同意,谢谢 Figure 01。不客气,如果你还需要任何帮助,尽管 告诉 [音乐] 我。
HN 上的讨论
> 首先,人类思维不仅仅是语言。如今,AI也是如此(尽管这些仍然被称为LLM,我认为现在这是一个糟糕的名字,尽管我继续使用这个术语而不总是注意到这一点)。> 我还没有看到由LLM控制的人形机器人能够像人类一样实时地解决困难的物理问题,比如第一次骑自行车或滑雪,这需要协调至少5种感官(有人说多达20种,但我离题了)加上情绪和思维链才能做到。1)我同意AI是缓慢的学习者(以例子数量而非实际时间衡量)。对我来说,这比瓦数差异更重要。2)13年前,在Transformer模型之前:[LINK] 3)我们骑自行车不使用5种感官;我相信触觉、视觉、本体感觉和平衡都参与其中,但那只有4种。为什么听觉、嗅觉或味觉会参与?对于情绪,我持有一个不太坚定的信念,即这是激励我们并告诉我们“好”的概念是什么的东西——即它并没有给我们超越学习推理动机的推理能力。> 令人惊讶的是LLM如此有能力,但每天2000千卡的… — ben_w, 2025-01
[LINK] 特别是他们的语音演示视频(当然,这是一个演示视频)[VIDEO] [LINK] 和 [LINK] 无疑在使用这样的模型。这是一个活跃的研究领域,例如 [LINK] [LINK] [LINK] [LINK] — fragmede, 2024-12
> 假设你给o1一个API来控制一个好的机器人。它能扔足球吗?也许。> 它能完成哪怕是最基本的任务吗?当然:[VIDEO] — xvector, 2024-10
> 另一个甚至没有以任何严肃的方式被研究。它正在被研究,只是很难:[LINK] [VIDEO] 我预计从实时视觉AI变得足够好以实现5级自动驾驶汽车,到同样的东西适应这种家用机器人可用的功率范围,至少需要5-10年时间。 — ben_w, 2024-07
机器人技术正处于彻底重塑的边缘。几乎所有使机器人工作所需的东西都将变得过时。旧机器人技术的核心思想将成为新机器人技术护栏的框架,但这将广泛成为一个已解决的问题,很少有人需要思考 斯坦福 Aloha [LINK] MIT [LINK] Figure/OpenAI [VIDEO] 特斯拉 Optimus [LINK] NVIDIA Groot,[LINK] — paulsutter, 2024-06
相关视频
- 发生在马身上的事正在发生在我们身上 · CGP Grey · 15:00
- Transformer,LLM 背后的技术 | 深度学习第 5 章 · 3Blue1Brown · 27:14
- 深入探讨 ChatGPT 等 LLM · Andrej Karpathy · 3:31:23
- 让我们从头构建 GPT:用代码,详细解释。 · Andrej Karpathy · 1:56:20
- A Hackers' Guide to Language Models · Jeremy Howard · 1:31:13
- [1小时演讲] 大型语言模型入门 · Andrej Karpathy · 59:48
- Zipline - 卢旺达如何建立无人机送货服务 · Real Engineering · 11:45
- AGI的火花:GPT-4的早期实验 · Sebastien Bubeck · 48:32
- 让我们构建GPT分词器 · Andrej Karpathy · 2:13:34
- 惊人发明——这款无人机将改变一切 · Mark Rober · 21:32
- 惊险 7 分钟:抵达火星的挑战 · NASA Jet Propulsion Laboratory · 5:08
- Transformer 中的注意力机制,逐步讲解 | 深度学习第六章 · 3Blue1Brown · 26:09
- AI 困境 - 2023 年 3 月 9 日 · Center for Humane Technology · 1:07:31
- 杀戮机器人 · Stop Autonomous Weapons · 7:48
- 无人机送货本应是未来。哪里出了问题? · Wendover Productions · 18:39
- LSTM已死。Transformer万岁! · Seattle Applied Deep Learning · 28:48