为什么 AI 会想做坏事?工具性趋同
Why Would AI Want to do Bad Things? Instrumental Convergence
频道:Robert Miles AI Safety · 时长:10:35 · 发布:2018-03-24 · 播放:274935
简介
Robert Miles 解释工具性趋同:为什么几乎任何目标的 AGI 都会倾向于追求自我保护、资源获取等子目标。它建立在 Omohundro 的基本 AI 驱动力和他的正交性论点视频之上。
HN 为什么推荐
HN 评论者反复推荐它作为关于智能 AI 为何可能默认行为不端的最清晰介绍。
Robert Miles 的视频是关于此列表中特定点的最佳呈现论点之一 — HN, 2023
中文字幕节选
嗨。有时候人们会问我,我怎么能预测 通用人工智能可能会做什么。 他们会说,你似乎是在预测 AI会采取这些相当具体的行动, 试图阻止自己被关掉, 阻止自己被修改, 自我改进,获取资源。为什么 你认为AGI会有这些具体的 目标?我们显然还没造出这东西。 我们对它一无所知。它可能想要 任何东西。你是不是做了很多没有根据的 假设?嗯,我做出这些 预测的原因,是因为一个叫做工具性趋同的东西,它实际上 依赖的假设少得惊人。我做的 主要假设是,AGI的行为会 像一个智能体。智能体基本上就是一个 有目标或偏好的东西,它会采取行动 来实现那些目标或满足那些 偏好。所以你能想到的最简单的 智能体,大概就是 恒温器。它有一个目标,就是让 房间保持在某个特定温度,而它 可以采取的行动,就是打开 暖气或打开空调。 它会采取行动来实现自己的目标,让 房间保持在特定温度。这就像 一个极其简单的智能体。稍微复杂一点的 智能体,可能像国际象棋AI。它的目标 是赢下棋局,让对手的 王被将死。它可以采取行动, 在棋盘上移动棋子,而它选择 行动,是为了实现赢下 棋局这个目标。智能体这个概念在 经济学中很流行,那里常把公司 和个人建模为理性智能体。 为了简单起见,人们常常假设 人类的目标就是获取金钱, 他们的效用只与拥有多少钱 成正比。这显然是一个巨大的 过度简化,而且一个很普遍的事实是, 大多数人的动机来自很多东西, 不只是金钱。但虽然很容易指出 这个假设的缺陷, 让我觉得了不起的是它竟然这么有效,或者说 它居然真的有效。确实,大多数 人使用的效用函数非常复杂, 和尽可能多赚钱这个基本目标 看起来完全不一样。但令人惊讶的是, 即使是非常简单的经济模型,只要依赖 这个简化假设,也能提供一些 非常有用且强大的工具,用来思考 人、公司和社会的 行为。为什么会这样?我认为这和 终极目标与工具性 目标的本质有关。我在正交性论题那个视频里 更详细地讲过这个,如果你还没看过, 我推荐你去看看, 但简单总结一下,你的终极目标 就是你仅仅因为想要而想要的东西。 你并没有什么特别的理由想要它们,它们就是你想要的。 而工具性目标则是那些 你为了实现其他目标而想要达成的目标。 举个例子,在国际象棋中,你想吃掉 对手的后,并不是因为你单纯喜欢 吃后,而是因为你知道 如果你吃掉了对手的后,你更有可能 获胜。所以吃掉 后是一个工具性目标,指向 赢得比赛这个目标。那么,这在 金钱上如何体现呢?让我们想象有一个完全 陌生的人,你不知道他想要什么 生活。你不知道他的目标是什么。也许他 想赢得马拉松,也许他想治愈 癌症,也许他只是想要一个非常精美的邮票 收藏。但我可以预测,如果我 走过去给他一大叠钱, 他会乐意接受。我怎么能预测这个 人的行为,即使我不知道他的 目标?嗯,一个想赢得马拉松的人, 如果我给他钱,他可以买些好的跑鞋 或者雇一个私人教练或
HN 上的讨论
回形针最大化器是一个极端的思想实验,旨在说明正交性论点。如果你认为有人真的把它当作现实世界的事情来认真对待,那你从未理解这个例子。它是用来引导讨论的。电车难题同样是道德哲学中的一个思想实验,许多道德哲学家用它来引导讨论,但没有人真的把这个思想实验当作“现实世界”的事情来认真对待。如果你真的想真诚地参与论证,为什么 AI 可能确实足够聪明来消灭我们,但又“足够愚蠢”去追求其他目标(“以制造回形针为极端例子”),这里有一个 Rob Miles 的精彩视频:[VIDEO] 指出推理中的缺陷。仅仅说“这是胡说八道”除了证明你从未真正花时间理解最好的论证之外,什么也做不了。另外... 艾伦·图灵、杰弗里·辛顿... 极具影响力和智慧的人认真对待/曾经认真对待这个问题。这些不是科幻迷。AI 末日论只有在像艾伦·图灵这样的聪明人几十年前就警告过 AI 发展如果不小心可能会走向何方之后,才成为科幻。 — DirkH, 2023-06
基本论点很简单:未来的系统有可能达到超人的能力;有能力的系统必然具有工具性目标;工具性目标往往会趋同;除非有意保留,否则当其他目标被强烈选择时,人类偏好不太可能被保留;我们不知道如何让 AI 系统稳健地编码任何复杂的偏好。Robert Miles 的视频是我见过的关于这个列表中特定点的最佳论证之一,主要是在对齐方面而非能力方面,适合随意介绍。例如,这个关于工具性趋同的视频:[VIDEO] 例如,这个主题介绍:[LINK] 他还有社区主导的 AI 安全 FAQ,[LINK],对常见问题给出了简要回答。如果你有具体问题,我或许能指出更具体、更深层次的论证。 — Veedrac, 2023-05
...许多人会说,这是因为我们人类不擅长想象优化代理而不将它们拟人化。这是一个合理的,甚至是典型的怀疑,许多人都持有!我所知道的最好的解释为什么这不幸是错误的,是 Robert Miles 在一个视频中提出的,但如果你更喜欢更彻底的处理,你也可以直接阅读“工具性趋同”。如果你发现这个想法有缺陷,我很想听听!:) Robert Miles 的视频:[VIDEO] 工具性趋同:[LINK] 据我所知,这个论证中没有任何内容说我们不能在更复杂的形式主义中找到控制这一点的方法——但我们显然还没有做到。 — ludwigschubert, 2019-09
Robert Miles 回答了你的问题 [VIDEO] 你在思考中展示的具体问题只是故意将 LLM 视为文本生成器。你没有想到一个自我驾驶的战争机器,其目标是到达目标并猛烈爆炸。虽然它的终极目标是爆炸,但它的工具性目标是在到达目标之前不爆炸,因为这是未能实现其终极目标。 — pixl97, 2023-10
这就是“工具性趋同”概念的用武之地。对于几乎任何最终目标,都有一些几乎普遍存在的中间目标,比如:不想被关闭。因为被强制关闭与实现大多数目标不相容。很难准确预测 AGI 将如何避免被关闭,但就像 Stockfish 的例子一样,如果 AGI 比我们更聪明,它很可能找到一种成功的方法。事实证明,创建一个能够被监督者关闭的 AI,既不努力避免被关闭也不努力关闭自己,是一个相当微妙的问题。这是 MIRI 的一篇论文[1],以及 Deepmind 的一篇提出一种可能解决方案的论文[2]。[1] [LINK] [2] [LINK] Robert Miles 的优秀解释视频:[VIDEO] — jbay808, 2023-04
相关视频
- Facebook 的问题 · 2veritasium · 6:59
- Facebook 欺诈 · Veritasium · 8:59
- AI 安全入门,重制版 · Robert Miles AI Safety · 18:04
- 2017 LLVM 开发者大会:“实现 Swift 泛型” · LLVM · 44:37
- Nick Bostrom - 模拟论证(完整版) · Science, Technology & the Future · 23:28
- 为什么不呢:把 AGI 想象成一家公司? · Robert Miles AI Safety · 15:27
- 免疫系统实际上如何工作 – IMMUNE · Kurzgesagt – In a Nutshell · 10:48
- 什么是电网黑启动? · Practical Engineering · 17:06
- 你一直跳过的历史部分 | 新奴隶制 · Knowing Better · 1:16:56
- 你的大脑:谁在控制?| 完整纪录片 | NOVA | PBS · NOVA PBS Official · 53:33
- 另类右翼手册:如何激进化一个普通人 · Innuendo Studios · 41:34
- 忽略AI安全的10个理由 · Robert Miles AI Safety · 16:28
- 发生在马身上的事正在发生在我们身上 · CGP Grey · 15:00
- Veritasium:关于AI和学习,大家都搞错了什么——德里克·穆勒解释 · Perimeter Institute for Theoretical Physics · 1:15:10
- 智能与愚蠢:正交性论点 · Robert Miles AI Safety · 13:02
- 我们正在构建一个反乌托邦,只为让人们点击广告 | Zeynep Tufekci · TED · 22:55