Figure 状态更新 - OpenAI 语音到语音推理

Figure Status Update - OpenAI Speech-to-Speech Reasoning

频道:Figure · 时长:2:35 · 发布:2024-03-13 · 播放:3090625

在 YouTube 观看

简介

Figure 发布的一段简短状态更新演示,展示其人形机器人使用 OpenAI 驱动的语音到语音推理进行对话并执行任务。

HN 为什么推荐

主要被引用为 LLM 控制机器人现状的示例,也有人怀疑这只是一段精心制作的演示视频。

大语言模型与生成式 AI · 机器人

中文字幕节选

嘿 Figure 01,你现在看到了什么? 现在我看到桌子中央的盘子上有一个红苹果,一个晾干架上面有杯子 和一个盘子,而你站在旁边,手放在桌子上。太好了,我能要 点吃的吗?当然可以。 太好了,你能解释一下你刚才为什么那样做吗?同时你捡起 这个 上面的垃圾。所以我给了你苹果,因为这是我能提供的唯一可食用 物品,从 桌子上。太好了,那么根据现在的场景,你觉得 你面前的餐具应该去哪里? 接下来桌子上的餐具,比如那个盘子和杯子,很可能会放进晾干 架里。太好了,你能把它们放 到那里吗?当然 可以。 [音乐] 好的,那你觉得你做得怎么样?我觉得我做得 相当不错。苹果找到了新主人,垃圾不见了,桌子上的餐具 也回到了该在的地方。我同意,谢谢 Figure 01。不客气,如果你还需要任何帮助,尽管 告诉 [音乐] 我。

HN 上的讨论

> 首先,人类思维不仅仅是语言。如今,AI也是如此(尽管这些仍然被称为LLM,我认为现在这是一个糟糕的名字,尽管我继续使用这个术语而不总是注意到这一点)。> 我还没有看到由LLM控制的人形机器人能够像人类一样实时地解决困难的物理问题,比如第一次骑自行车或滑雪,这需要协调至少5种感官(有人说多达20种,但我离题了)加上情绪和思维链才能做到。1)我同意AI是缓慢的学习者(以例子数量而非实际时间衡量)。对我来说,这比瓦数差异更重要。2)13年前,在Transformer模型之前:[LINK] 3)我们骑自行车不使用5种感官;我相信触觉、视觉、本体感觉和平衡都参与其中,但那只有4种。为什么听觉、嗅觉或味觉会参与?对于情绪,我持有一个不太坚定的信念,即这是激励我们并告诉我们“好”的概念是什么的东西——即它并没有给我们超越学习推理动机的推理能力。> 令人惊讶的是LLM如此有能力,但每天2000千卡的… — ben_w, 2025-01
[LINK] 特别是他们的语音演示视频(当然,这是一个演示视频)[VIDEO] [LINK] 和 [LINK] 无疑在使用这样的模型。这是一个活跃的研究领域,例如 [LINK] [LINK] [LINK] [LINK] — fragmede, 2024-12
> 假设你给o1一个API来控制一个好的机器人。它能扔足球吗?也许。> 它能完成哪怕是最基本的任务吗?当然:[VIDEO] — xvector, 2024-10
> 另一个甚至没有以任何严肃的方式被研究。它正在被研究,只是很难:[LINK] [VIDEO] 我预计从实时视觉AI变得足够好以实现5级自动驾驶汽车,到同样的东西适应这种家用机器人可用的功率范围,至少需要5-10年时间。 — ben_w, 2024-07
机器人技术正处于彻底重塑的边缘。几乎所有使机器人工作所需的东西都将变得过时。旧机器人技术的核心思想将成为新机器人技术护栏的框架,但这将广泛成为一个已解决的问题,很少有人需要思考 斯坦福 Aloha [LINK] MIT [LINK] Figure/OpenAI [VIDEO] 特斯拉 Optimus [LINK] NVIDIA Groot,[LINK] — paulsutter, 2024-06

相关视频