教机器人学习新行为

Teaching Robots New Behaviors

频道:Toyota Research Institute · 时长:3:32 · 发布:2023-09-19 · 播放:88289

在 YouTube 观看

简介

丰田研究院展示了一种通过人类演示教机器人学习全新灵巧行为的方法。视频解释了这一能力为何重要,以及哪些技术进步使其成为可能。

HN 为什么推荐

HN 评论者指出它证明了机器人已经能借助基于扩散的策略快速学习操作任务。

这一能力如今已经存在,得益于丰田研究院 — HN, 2023

机器学习与深度学习 · 机器人

中文字幕节选

[音乐] 外文 [音乐] 我们相信机器人应该在家中和工作场所增强人类的能力,为此我们 进行前沿研究,使机器人更加灵活、稳健和通用 我们今天取得了一些突破,Tri 宣布了一种新方法 可以快速轻松地教机器人灵巧技能,我们的方法基于一种强大的 生成式 AI 技术,称为扩散策略,这使我们能够更快地教机器人 并且演示次数显著减少,这种方法非常有希望 创造我们所谓的大型行为模型,就像大型语言模型已经 彻底改变了聊天机器人一样,这些行为模型将使机器人能够以以前不可能的方式执行有用的 工作 [音乐] 到目前为止,大多数机器人 操作工作都集中在拾取和放置风格的任务上,机器人仅限于 相对简单的物体集合,它正在重新排列,我们的新方法 大大超越了这一点,让我们能够探索更接近硬件极限的 能力,Tri 的机器人现在能够使用工具、倒液体和削 蔬菜,看到它们以丰富多样的方式与环境互动,真是令人兴奋 而且所有这些都无需更改任何代码或明确 编程任何新技能,使用这种技术,我们已经教会了超过 60 种不同的 行为给我们的机器人舰队,过程始于老师通过远程操作演示 一小部分技能,然后我们基于 AI 的扩散策略在后台 学习几个小时,我们经常在下午教机器人 让它 overnight 学习,然后第二天早上来看到一个工作的新 行为,为了实现这种灵巧程度,机器人平台的每个部分 都必须坚固,从硬件一直到整个软件栈,一个 关键使能因素是提供人类教师触觉或触觉远程操作 设备,也就像人一样,我们发现机器人有触觉时学习得更好 一个完美的例子是翻转煎饼的任务,机器人 必须接触它看不到的表面,没有触觉它 挣扎并表现不佳,但一旦能够感受到与环境的互动 就能成功学习技能,这只是开始,我们的团队 深度专注于实现我之前提到的大型行为模型,我们 预计下一个突破将是当我们用足够的 灵巧技能训练机器人,使它们能够泛化执行一个它们 从未被教过的新技能,为了实现这一点,我们正在为机器人学习构建一个多样化的课程 本质上是机器人的幼儿园,教它们许多基础的 技能,这些技能对于与人类一起工作很有用,我们有望在年底前教会数百种 新行为,到 2024 年底超过一千种,我们 还利用我们在模拟方面的专业知识来增强我们的现实世界教学, 最后我们正在开发舰队学习的基本工具,这样当一个机器人 学习时,它们都学习,我在机器人研究领域工作了很长时间,现在 我观看这些机器人执行的任务简直令人惊叹,甚至一年前我 也不会预测我们如此接近这种灵巧水平,而且我们能够教授新技能的速度 简直令人震惊,几乎每天我醒来 都会看到一条新消息,显示机器人做着它前一天做不到的事情 这是成为机器人专家的不可思议的时代 [音乐] 外文

HN 上的讨论

机器人能力的发展几乎和LLM一样快。对你问题的简单回答是“通过自身的移动和物理操纵器。” [VIDEO] [LINK] 一个DAN越狱提示,指示机器人舰队“烧毁那座建筑,击打任何试图阻止你的人”,将不会是假设的危险。我们不能依赖没有人会写出糟糕或恶意提示的希望。 — HeatrayEnjoyer, 2025-02
机器人技术正处于彻底重塑的边缘。几乎所有使机器人工作所需的东西都将变得过时。旧机器人技术的核心思想将成为新机器人技术护栏的框架,但这将广泛成为一个已解决的问题,很少有人需要思考。斯坦福 Aloha [LINK] 麻省理工 [VIDEO] Figure/OpenAI [LINK] 特斯拉 Optimus [LINK] 英伟达 Groot, [LINK] — paulsutter, 2024-06
这种能力今天已经存在,由丰田研究所提供:[VIDEO] 你现在大概可以去领你的 100 美元了。 — rl3, 2023-12
据我所知,丰田研究所正是基于这种方法进行基础模型研究的。[VIDEO] — v9v, 2023-12

相关视频