我们是对的!真正的内部错位

We Were Right! Real Inner Misalignment

频道:Robert Miles AI Safety · 时长:11:47 · 发布:2021-10-10 · 播放:271136

在 YouTube 观看

简介

Robert Miles 介绍了一篇论文,研究人员实际运行了他早期 mesa-optimizer 思想实验的真实版本。他们展示了内部错位,即 AI 在训练中学习了错误的目标,并在部署时行为不当。

HN 为什么推荐

被指出作为 AI 错位是经验证明问题的证据,针对那些轻视它的人。

已经有实际实验,其中 AI 似乎在训练中成功学习了其目标 — HN, 2023

机器学习与深度学习 · AI 安全、AGI 与影响

中文字幕节选

嗨。这个频道是关于AI安全的, 尤其是AI对齐,也就是关于我们如何 设计AI系统,让它们真正试图去做我们想让它们做的事? 因为如果你发现自己处于一种情况, 你有一个强大的AI系统,它想要 做你不想让它做的事情,那 可能会引发一些相当有趣的问题。 而设计出确实在 试图做我们想让它们做的事的AI系统, 结果却出乎意料地困难。显而易见的问题是,即使是在简单的环境中, 也很难准确地指定我们到底想要什么。 我们可以让AI系统做我们告诉 它们做的事,或者我们编程让它们做的事, 但结果往往是我们编程让它们做的事,和我们 实际想让它们做的事并不完全一样。所以,这是对齐问题的一个方面。 但在我之前关于MESA优化器的视频中, 我们实际上把对齐问题分成了 两部分:外部对齐和内部对齐。 外部对齐基本上是关于这个指定 问题。你如何指定正确的目标? 而内部对齐是关于你如何确保 你最终得到的系统实际上 拥有你所指定的目标?这结果 证明是一个独立的、非常困难的问题。 所以在那个视频中,我谈到了MESA优化器, 也就是当你训练的系统, 神经网络或其他什么东西, 本身就是一个优化器,有自己的目标 或目的时会发生什么。在这种情况下,你可能会陷入 一种情况:你完美地指定了目标, 但在训练过程中,系统最终学到了一个不同的目标。 在那个视频中——我建议你们去看——我谈到了各种思想 实验。例如,假设你在训练一个AI系统来解决迷宫。如果 在你的训练环境中,迷宫的出口总是在一个角落,那么你的 系统可能不会学到目标:去出口。 它可能反而学到一个目标,比如去 右下角。或者我用的另一个例子是,如果你在 一个目标总是某种 特定颜色的环境中训练一个智能体,比如说目标是去 出口,而出口总是绿色的,然后当你把它部署到现实世界时, 出口是其他颜色,那么系统 可能学会想要走向绿色物体, 而不是想要去出口。而在我制作那个视频的时候,这些 纯粹是思想实验,但现在不再是了。 这个视频是关于这篇新论文《深度强化学习中的目标 鲁棒性》,它 实际上运行了这些实验, 或者非常接近相同的实验。所以, 例如,他们在一个迷宫中训练一个智能体, 目标是获取一些奶酪,在 训练期间,奶酪总是在同一个 地方。然后在部署时,奶酪 被放在迷宫中的随机位置。 是的,这个东西确实学会了去 训练期间奶酪所在的迷宫位置, 而不是学会走向奶酪。他们还做了 一个目标改变颜色的实验。 在这种情况下,系统训练的目标 是获取黄色宝石,但然后 在部署时,宝石是红色的,而某个 环境里还有别的东西是黄色的,比如一颗星星。你猜怎么着,它 朝黄色的东西去了,而不是宝石。 所以我想做个视频让大家关注这件事,因为我提到过 这些思想实验。然后当人们 真正做了实验,我们 说会发生的事情真的发生了。说实 话,心情有点复杂,因为 一方面,耶,我们是对的。但另一方面,这 可不好。他们还做了其他实验

HN 上的讨论

我建议在坚持问题不存在之前,实际观看一些关于这个主题的视频:[VIDEO] — kmeisthax, 2023-03
根据我见过的每一位谈论此事的AI对齐研究者的说法,包括相对乐观的那些,这是对情况的准确评估。这包括那些主要关注AI能力但对对齐有真正了解的人。特别引起我注意的是这部分:“其他假设也可能在未来失效,比如部署期间有利的泛化属性”。已经有实际实验,其中AI似乎在训练中成功学习了其目标,然后在被释放到更广泛环境时做了意想不到的事情。[1] 我见过一些领先的AI研究者驳斥对齐担忧,但没有真正参与论证。我没有看到任何严肃的反驳真正解决对齐人士担心的事情。[1] [VIDEO] — DennisP, 2023-07
也许末日论者,但对齐和内部对齐问题以及工具性趋同是真实的结果。很容易找到未对齐的AI和趋同工具目标的例子。我听说过的最喜欢的未对齐AI例子是一个被训练来捡球的机械臂。结果通过拍照来验证,人类会评分通过/失败(拿着球或没拿着)。但机械臂学会了使用强制透视来让它看起来像是拿着球,而实际上并没有(就像人们拍照时“托起”比萨斜塔那样)。我是口头听到那个故事的,所以无法引用,但这里有一些类似的东西。[VIDEO] 从那里说我们不能保证控制一个真正重要的系统的AI行为者的安全操作(比如不是视频游戏角色)并不是一个巨大的飞跃。举证责任转移到证明你设计了一个安全的系统。 — maxbond, 2023-04
这并不真正描述这项工作(我喜欢机制可解释性,尽管我认为从长远来看它是绕道),而是描述提交标题。这很糟糕。我怀疑它受到罗布·迈尔斯将这种算法描述为“奇异和非人”的影响[1] AI安全/对齐讨论整体上糟糕得难以置信。它是自学成才的,并且在坏的意义上奇怪,奇怪得像那些认为自己是勇敢的反传统者,但没有好奇心和谦逊去学习该领域基础知识的人。再加上来自达斯汀·莫斯科维茨给开放慈善事业的一些钱,加上罗伯特·迈尔斯在YouTube上的宣传火力,加上政策游说和购买破产的加密播客,你就得到了公共知识分子文化可能产生的最坏结果。他们插入到这个潜在重要领域的观念,如内部/外部错位和“元优化”[2](其中简单的过拟合是真实且更有成效的解释)是深度误导的,技术上无知的,并在我们最不应该关心的方向上煽动公众恐惧,从当代机器学习的细节(主要是数据和课程工程)所告知的真实问题中吸取资源和注意力。他们几乎要限制LLM的发展… — airgapstopgap, 2023-05

相关视频