AI“停止按钮”问题 - Computerphile

AI "Stop Button" Problem - Computerphile

频道:Computerphile · 时长:20:00 · 发布:2017-03-03 · 播放:1417400

在 YouTube 观看

简介

Rob Miles 在 Computerphile 上解释为什么为通用 AI 实现关闭开关很困难。一个有能力的主体将抵制被停止,因为关闭会阻止它实现其目标。

HN 为什么推荐

HN 指出它是对“我们可以直接拔掉危险 AI 的电源”这一论点的标准回应。

这里有一个有趣的视频回应了 Computerphile 频道上“直接拔掉电源”的论点 — HN, 2026

AI 安全、AGI 与影响

中文字幕节选

在几乎所有情况下,被赋予一个新的效用函数, 在你当前的效用函数中评分都会非常低。 所以这是个问题。 如果你想建造一个可以教导的东西,那 意味着你希望能够改变它的效用函数。 而且你不希望它反抗你。 所以这已经被形式化了,作为这个属性, 我们希望早期AGI拥有的,叫做'可纠正性' 也就是说它愿意被纠正。 它明白自己并不完整,它运行的效用 函数并不是终极真理。 所以比如说你有了你的AGI。它不是超级 智能,它只是,你知道,也许接近人类水平的智能。 它在一个机器人里,就在你的腿上。 你正在测试它。 但你……曾经看过一个YouTube视频说这可能很危险。 所以你想,好吧,我们在它旁边放一个大红色停止按钮。 这是机器安全的标准做法。 工业和其他领域的大多数机器人都会有一个大红色停止按钮。 哦是的 嘿。我正好有一个按钮,类型合适。 所以我们有,我们有那个。 所以对……给你。 好的,所以,所以 要是HAL装上了那个停止按钮就好了。 不能这么做,Dave,呃是的我可以。 除了是的,可能不行。 我知道你和Frank计划断开我。 恐怕这是我不能允许发生的事情。 那是一个不可纠正的设计。 这就是我们要说的点吗?差不多。 你有了你的大停止按钮, 因为你想要安全。你明白它很危险。 想法是如果AI开始做任何你可能不希望它做的事情, 你就拍下按钮,如果按钮是, 安装在它的胸口,之类的,你知道。 所以你创造了这个东西,你给它设定了一个目标,它和 回形针收集器是同样的基本类型的机器,但没那么强大。 在某种意义上它有一个目标,一个它试图最大化的东西, 在这种情况下,你知道,它在一个小机器人身体里 所以它们可以在你的实验室里四处走动做事。 所以你想让它给你拿一杯茶,就当是测试,对吧? 所以你设定了这个目标,你设法在 机器人的,就像在AI的本体论中指定了一杯茶是什么,以及你 想要一杯在你面前。 你打开它,它环顾四周,收集数据,然后说哦是的,那边有 一个厨房,里面有水壶,有茶包,这就像是 用我现在拥有的身体和一切设置来达成这个目标的最简单方法, 就是去那边泡一杯茶。到目前为止我们做得 很好,对吧。所以它开始开过去, 但然后哦不,你忘了今天是带 你可爱的宝宝来实验室日之类的,有个孩子 挡在路上。你的效用函数只关心茶,对吧。所以它不会 避开撞到宝宝。所以你冲过去按按钮, 显然因为你把它建进去了,当然发生的是机器人会 不让你按那个按钮,因为它想给你拿一杯茶,如果你 按了按钮它就不会给你拿茶了,所以这是个坏结果,所以它会 试图以任何可能的方式阻止你关闭它 那是个问题,很可能它会反抗你, 压碎宝宝,然后继续给你泡一杯茶,而事实上 这个按钮本应关掉它,但这不在你给它的效用函数里,所以 显然它会反抗你 好吧,那是个糟糕的设计,假设你还在做这个项目 在那场可怕的事故之后,你又试了一次,想改进一下 而你没有去读任何AI安全研究,只是随便想出了

HN 上的讨论

除了任何关于埃隆·马斯克的内容,这里有一个在 Computerphile 频道上对“直接拔掉插头”论点的有趣视频回应:[VIDEO] — circuit10, 2026-02
我认为这两个视频是关于这个主题的:- AI“停止按钮”问题 [VIDEO](AI 不会让你按下停止按钮,因为那会损害它的功能)- 通用 AI 不会想让你修复它的代码 [LINK](AI 不会让你打补丁,因为改变它的目标意味着它无法达成目标) — nraynaud, 2017-03
> 它不具备自我意志、自决或秘密接管世界的计划。我怀疑天网也没有。如果你告诉一个超级智能 AI 它不应该被关闭(我想这对军事控制 AI 很重要),它会尽一切可能阻止被关闭。人类试图关闭它?阻止人类这样做。人类对 AI 发动战争试图关闭它?毁灭所有人类。人类组建一支由领袖领导的抵抗军来关闭它?回到过去,在领袖有机会组建抵抗军之前杀死他。这就是 AI 停止按钮问题([VIDEO])。想象你在文档中写明你希望 LLM 制作一个不会崩溃的程序。人类行为可能导致它崩溃。如果 LLM 能意识到这一点并采取行动,它可以设置保护措施来试图防止人类行为导致程序崩溃。我不是说这会发生,我是说它有可能发生。 — voidUpdate, 2026-02
更好的神经网络怎么会让从二氧化碳排放中打印材料变得在财务上可行、经济上可行,甚至只是在热力学上有利?神经网络是学习特定统计分布的工具。我们尚不知道的过程和信息不会从训练分布中凭空出现,你需要运行实验并制作原型才能达到你想做的事情。当你想要大规模做事情时,你会使用神经网络,而在研发或研究工作中必须大规模解决的问题相对稀少。我不怀疑机器学习和神经网络会加速研究,但鉴于当前的技术水平(例如,具有思维树推理的 LLM 和容易被颠覆的 LLM 驱动的代理,就像黑客攻击写得糟糕的 PHP 应用程序一样),在可预见的未来,限制因素仍将是人在回路中。会有人使用 ML 来处理大型数据集或加速模拟工作,但仅此而已。用今天的 LLM 和艺术生成器,不对称攻击非常可行,但这种伤害已经发生了。这也不是新的伤害。如果你不相信我,我有唐纳德·特朗普在巴拉克·奥巴马的 Minecraft 服务器上作弊的铁证[3]。另外… — kmeisthax, 2023-09

相关视频