多智能体捉迷藏
Multi-Agent Hide and Seek
频道:OpenAI · 时长:2:57 · 发布:2019-09-17 · 播放:11308615
简介
OpenAI 的简短演示,展示智能体在模拟环境中玩捉迷藏。通过自我对弈,智能体发展出六个逐渐复杂的策略和反策略,包括工具使用。
HN 为什么推荐
HN 将其作为多智能体强化学习中涌现行为的生动例子,并使 AI 对齐问题更加具体。
这个短视频让担忧变得更加真实 — HN, 2019
中文字幕节选
在地球上,自然选择和竞争的简单法则导致了 越来越智能的生命形式的进化。今天,我们探讨在 多智能体竞争中,类似简单的规则是否也能在一个新的虚拟世界中导致智能行为。 这些智能体正在玩捉迷藏。这些智能体刚刚开始学习,但 它们已经学会了追逐和逃跑。对于只学会逃跑的躲藏者来说, 这是一个艰难的世界。然而,经过训练和数百万轮的 捉迷藏后,躲藏者找到了解决方案。躲藏者学会使用基本工具 来为自己谋利,通过抓住并锁定这些方块,它们可以创建自己的 庇护所。寻找者在游戏开始时会被锁定一段时间, 给躲藏者准备的机会。即便如此,躲藏者必须学会合作, 完成任何单个个体都无法完成的任务。躲藏者 并不是唯一能学会使用工具的。经过多代未能 闯入庇护所后,寻找者学会了使用坡道跳过障碍物。 然而,在数百万轮庇护所被突破后,躲藏者 学会了拿走寻找者所拥有的主要工具。注意, 我们并没有明确激励这些行为,因为每个团队学习新 技能时,会隐含地改变另一个团队面临的挑战,创造新的 适应压力。我们还将这些智能体放入一个更开放的环境中, 随机化物体、团队规模和墙壁。在这个世界里,它们学会从头开始 构建自己的庇护所,要求它们将多个物体排列成 精确的结构,以防止寻找者使用坡道。躲藏者 将它们移到游戏区域的边缘并锁定。我们最初认为 这将是智能体学会的最终策略。然而,我们发现经过 更多训练后,寻找者发现它们可以跳上方块并冲浪 到躲藏者的庇护所。 在我们观察到的涌现策略的最后阶段,躲藏者学会在建造防御工事之前 尽可能多地锁定方块,以防御 方块冲浪。那么,智能体如何获得这些技能?它们使用 强化学习进行训练,这是一种受地球上动物学习方式启发的算法。 智能体并行进行数千轮捉迷藏,持续多天。它们 相互训练,也与过去的自己训练,使用一种 称为自我对弈的算法。地球上的共同进化和竞争导致了 迄今为止已知的唯一通用智能物种——人类。虽然这个世界远比 地球简单,但我们发现证据表明,简单规则可以导致越来越智能的 行为,来自多智能体互动。我们希望,随着更大、更 多样化的环境,真正复杂和智能的智能体有一天会 出现 [音乐]
HN 上的讨论
专用AI不太可能构成威胁。问题将出现在通用AI上,以及简单但未完全考虑的效用函数。这个短视频让这种担忧变得更加真实:[VIDEO] 考虑一下,如果你把同样的AI,使其效用函数类似于这个:[LINK],然后将其发布到互联网上,会发生什么。 — aeternum, 2019-10
真正的强化学习不受限于人类标注数据,并且能够创造新颖的方法来解决问题。真正的强化学习需要一个非常清晰的目标函数(例如围棋、星际争霸或禁忌游戏的规则),模型可以据此自我评估。Andrej Karpathy 在这里谈到了 RLHF 和“真正”强化学习之间的区别:[LINK] > 另一件事是我们正在做基于人类反馈的强化学习(RLHF),但这是一种超级弱的强化学习形式。我认为……在 AlphaGo 中,RLHF 的等价物是什么?奖励模型是什么?我称之为“氛围检查”。想象一下,如果你想训练一个 AlphaGo RLHF,那就是给两个人两个棋盘并问:“你更喜欢哪一个?”——然后你会拿这些标签来训练模型,然后针对那个进行强化学习。这有什么问题?首先——那只是棋盘的氛围。这就是你训练的目标。其次,如果奖励模型是一个神经网络,那么对于你正在优化的模型来说,很容易过拟合到那个奖励模型,它会找到所有这些虚假的… — HanClinto, 2024-07
这里 [1]。他们称之为“涌现”属性,但我只看到这是不可避免的行为。[1] [VIDEO] — PartiallyTyped, 2022-09
> 只是有些东西我无法用语言描述它今天缺少什么——可能更多是哲学而非技术上的 我个人观点是,生物智能没有什么本质上特殊的东西,理论上不能用电子设备复制,但今天的人工智能有一些实际限制,比如没有显著的持久内部状态。我最近看到谷歌机器人学的一篇“内心独白”论文,可能是朝着正确方向迈出的一步。 > 例如,人类在全集和我们能感知的所有维度内运作。我们大脑的直接输出是电信号到一组肌肉。我不认为有什么特别的东西阻止物理机器人拥有类似的操作空间通用性。 > 即使在今天的最先进水平,如果我们给机器人我们拥有的所有传感器,它们仍然无法像我们一样与环境一起进化 进化的能力在我看来与智能大多是正交的。如果人类是由智能创造者或梯度下降产生的,我们仍然会是智能的吗?人工智能通过梯度下降或自我修改适应环境应该没问题,而且比进化更快。 > 或者像我们一样用当前算法或神经网络发明火。它们只会继续在它们的“东西”集合内做… — treesprite82, 2022-07
我认为进化在那个意义上不是一个无方向的过程,因为它是一个优化过程,优化以创造更多自身的副本。超级智能可能会使用某种进化计算(见 en.wikipedia.org/wiki/Evolutionary_computation)。另见 90 年代 Karl Sims 的“生物”:youtube.com/watch?v=JBgG_VSP7f8 或 OpenAI 的多智能体捉迷藏:[VIDEO] — HaukeHi, 2022-03
相关视频
- 理查德·费曼谈伪科学 · Jacob Edward · 1:53
- Tesla AI Day 2022 · Tesla · 3:23:00
- 神经网络和反向传播的详细入门:构建micrograd · Andrej Karpathy · 2:25:52
- 但什么是神经网络?| 深度学习第一章 · 3Blue1Brown · 18:40
- 发生在马身上的事正在发生在我们身上 · CGP Grey · 15:00
- AlphaGo - 电影 | 完整获奖纪录片 · Google DeepMind · 1:30:28
- Transformer,LLM 背后的技术 | 深度学习第 5 章 · 3Blue1Brown · 27:14
- USENIX Security '18-Q:为什么主题演讲者不断建议改进安全性是可能的? · USENIX · 51:22
- 第一讲 | 机器学习(斯坦福) · Stanford · 1:08:40
- MarI/O - 视频游戏机器学习 · SethBling · 5:57
- 深入探讨 ChatGPT 等 LLM · Andrej Karpathy · 3:31:23
- 学会玩经典 NES 游戏的计算机程序 · suckerpinch · 16:17
- David Silver 强化学习课程 - 第一讲:强化学习导论 · Google DeepMind · 1:28:12
- 让我们从头构建 GPT:用代码,详细解释。 · Andrej Karpathy · 1:56:20
- 湾区视觉会议:无监督特征学习和深度学习 · Google TechTalks · 48:10
- A Hackers' Guide to Language Models · Jeremy Howard · 1:31:13