OpenAI 玩捉迷藏……并打破了游戏!🤖
OpenAI Plays Hide and Seek…and Breaks The Game! 🤖
频道:Two Minute Papers · 时长:6:02 · 发布:2019-10-22 · 播放:11011800
简介
Two Minute Papers 介绍了 OpenAI 的多智能体捉迷藏实验,其中智能体学会了涌现的工具使用,并找到了打破游戏规则的方法。它总结了论文《Emergent Tool Use from Multi-Agent Interaction》。
HN 为什么推荐
HN 提到它作为一个有趣且略令人担忧的例子,说明 AI 系统在优化时会出现意外行为。
OpenAI 的捉迷藏是我最喜欢的之一 — HN, 2021
中文字幕节选
当我们审视这里的精确规则时,我会 注意到该项目的目标是将 两支AI团队相互对抗,并希望 看到一些有趣的涌现行为。 而且,天哪,它们确实做了一些疯狂的事情。 最酷的部分是两支队伍相互 竞争,每当一支队伍 发现新策略时,另一支就必须适应。 有点像军备竞赛的情况,而且它 也有点类似于生成对抗网络。 结果非常壮观、有趣、怪异——你马上就会看到。 这些智能体从之前的经验中学习, 毫不意外的是,在最初的 几百万轮中,我们开始时是……一片混乱。 每个人都只是漫无目的地跑来跑去。 没有适当的策略和半随机的移动, 寻找者占优势,因此赢得了大多数游戏。 没什么好看的。然后,随着时间的推移,躲藏者学会了通过用这些箱子 堵住门来将寻找者 锁在外面,并开始持续获胜。 我认为最酷的部分是 地图是由OpenAI的 科学家们特意设计的,使得躲藏者只有通过合作才能成功。 它们无法单独获胜,因此被迫学会合作。 它们做到了,而且做得很好。 但后来,发生了一些事情。 你注意到这个尖尖的、门挡形状的物体了吗? 你在想我所想的吗? 嗯,很可能,不仅如此,而且大约 1000万轮之后,AI还发现 它可以被推到墙边并用作斜坡,然后,哒哒! 抓住他们了!寻找者又开始赢得更多。 所以,现在球又回到了躲藏者的场上。 你能防守这个吗?如果能,怎么防? 嗯,这些足智多谋的小家伙们学会了 由于游戏开始时有一小段时间 寻找者被冻结,显然, 在这段时间里,它们看不到躲藏者,所以 为什么不偷偷溜出去偷走斜坡,并将其锁起来不让它们拿到。 绝对不可思议。看它们搬运那个斜坡时那快乐的眼神。 你以为这一切就结束了吗? 不,不,不。还远着呢。 它变得更奇怪了。奇怪得多。 当玩不同的地图时,一个寻找者注意到它可以用斜坡爬上 箱子的顶部,然后,这发生了。 你觉得沙发冲浪很酷吗? 得了吧!这是箱子冲浪! 科学家们对这个 举动感到相当惊讶,因为这是寻找者AI 似乎打破了游戏的最早案例之一。 这里发生的情况是,物理系统 的编码方式使它们能够通过 对自己施加力来移动,但是, 没有额外的检查它们 是否在地板上,因为哪个头脑正常的人会想到那个? 结果,一些本不该发生的事情在这里发生了。 而且,我们还没完,这篇论文还在不断带来惊喜。 几亿轮之后,躲藏者 学会了将所有斜坡与箱子分开。 亲爱的学者们,这才是真正的箱子冲浪 防御……然后,锁定剩余的工具并建造一个庇护所。 注意这个策略演练和执行得多么熟练——没有一秒钟的时间 留给寻找者出发。 我也喜欢这个调皮的举动,他们把庇护所设在寻找者旁边, 我几乎觉得他们在说“看到这个了吗? 你对此无能为力”。 在一些孤立的情况下,其他有趣的行为也出现了,例如, 躲藏者学会了利用物理系统,直接把坡道扔掉。 之后,寻找者会说“什么?”“刚刚发生了什么?”。 但不要绝望,此时,我也建议你抓紧你的 论文,因为还有一个疯狂的情况 一个寻找者也学会了滥用类似的
HN 上的讨论
Two Minute Papers有许多AI表现出意外行为的有趣例子,OpenAI的捉迷藏是我最喜欢的之一:[VIDEO] — SatvikBeri, 2021-02
“Two Minute Papers” [VIDEO] GTC 2020第二部分相当不错 [LINK] 主要是我自己也陷入了困境 — sendbitcoins, 2020-05
对于自监督学习,我们必须意识到的问题之一是,已经存在的透明度和可理解性问题会恶化几个数量级。如果当前十亿参数的模型是不透明的,那么自监督学习的结果就是,或者将是,相当于一个黑洞。你如何理解模型学到了什么?为什么它以这种方式学习?在优化其损失函数的过程中,哪些事情可能完全、可怕地出错了?这让我想起一篇有点幽默但也令人担忧的论文:[VIDEO] 我认为我们真的需要考虑如何减轻培养完全不可理解但可怕地强大的机器的风险。 — montenegrohugo, 2021-03
相关视频
- 专题 - 卡尔曼滤波(55 之 1)什么是卡尔曼滤波? · Michel van Biezen · 5:55
- 神经网络和反向传播的详细入门:构建micrograd · Andrej Karpathy · 2:25:52
- 但什么是神经网络?| 深度学习第一章 · 3Blue1Brown · 18:40
- AlphaGo - 电影 | 完整获奖纪录片 · Google DeepMind · 1:30:28
- Transformer,LLM 背后的技术 | 深度学习第 5 章 · 3Blue1Brown · 27:14
- USENIX Security '18-Q:为什么主题演讲者不断建议改进安全性是可能的? · USENIX · 51:22
- 第一讲 | 机器学习(斯坦福) · Stanford · 1:08:40
- MarI/O - 视频游戏机器学习 · SethBling · 5:57
- 深入探讨 ChatGPT 等 LLM · Andrej Karpathy · 3:31:23
- 学会玩经典 NES 游戏的计算机程序 · suckerpinch · 16:17
- David Silver 强化学习课程 - 第一讲:强化学习导论 · Google DeepMind · 1:28:12
- 让我们从头构建 GPT:用代码,详细解释。 · Andrej Karpathy · 1:56:20
- 湾区视觉会议:无监督特征学习和深度学习 · Google TechTalks · 48:10
- A Hackers' Guide to Language Models · Jeremy Howard · 1:31:13
- 安德烈·卡帕西 - 特斯拉全自动驾驶的人工智能 · Matroid · 30:08
- [1小时演讲] 大型语言模型入门 · Andrej Karpathy · 59:48