避免负面副作用:AI 安全中的具体问题 第 1 部分
Avoiding Negative Side Effects: Concrete Problems in AI Safety part 1
频道:Robert Miles AI Safety · 时长:9:33 · 发布:2017-06-18 · 播放:161080
简介
Robert Miles 介绍关于论文《AI 安全中的具体问题》的系列视频中的第一个,重点讨论 AI 系统如何造成意外的负面副作用。它以通俗易懂的方式解释了这个问题。
HN 为什么推荐
HN 推荐 Robert Miles 的频道,认为它是好奇 AI 安全的人的清晰起点。
对于那些对 AI 安全好奇的人,我强烈推荐 YouTube 上的 Robert Miles 频道。 — HN, 2023
中文字幕节选
嗨,我刚为 Computerphile录制了一个新视频,我在里面讨论了这篇论文, 《人工智能安全中的具体问题》。等Computerphile的视频 发布后,我会在下方描述栏里放上链接。 在进入本期视频之前,先快速回顾一下那个视频的内容。 人工智能可能给我们带来 各种各样的问题,而最近人们 才开始认真研究 让人工智能更安全的方法。很多人工智能安全 方面的担忧听起来有点像科幻小说, 这些问题可能出现在非常强大的 人工智能系统上,而那可能还很遥远。 这使得那些问题有点难以 研究,因为我们不知道那些未来的 人工智能系统会是什么样子,但类似的问题 也存在于今天正在开发中的人工智能系统上, 甚至此刻就在现实世界中 运行的系统上。这篇论文指出了五个问题, 我们现在就可以着手研究,这既能 帮助我们应对当前的人工智能系统,也有望 帮助我们应对未来的人工智能系统。 Computerphile的视频快速概述了 论文中列出的五个问题, 而本期视频只讲其中的第一个问题, 避免负面副作用。我想 我会为每个问题各做一期视频, 做成一个五集的系列。那么,避免负面 副作用。让我们用我在Computerphile的 停止按钮视频中谈到的例子。 你有一个机器人,你想让它给你拿一杯 茶,但路上有东西挡着,也许是 一个婴儿,或者窄架子上一个无价的明代花瓶, 你知道,随便什么,然后你的机器人在去 厨房的路上撞到了婴儿,或者打翻了花瓶, 然后给你泡了一杯茶。所以这个 系统实现了它的目标,它给你 弄到了茶,但它产生了这个副作用, 而这个副作用是负面的。现在,我们有理由预期 负面副作用会成为人工智能 系统的一个问题。部分问题来自于在复杂环境中 使用简单的目标函数。 你以为你定义了一个很好的简单目标 函数,看起来像这样, 这没错,但当你把它用在复杂 环境中时,你实际上写出的目标函数看起来像这样, 或者更像这样。你的复杂环境中 任何没有被你的目标函数 明确赋予价值的东西,都被隐含地赋予了零价值, 这是个问题,因为这意味着你的人工智能 系统会愿意用任意巨大数量的 任何你没有在目标函数中指定的东西, 去换取任意微小数量的 任何你确实指定的东西。 如果它能把自己给你拿一杯 茶的能力提高0.0001%,它会很乐意为此 毁掉整个厨房。如果有办法 获得一点点它在乎的东西, 它就乐意牺牲任意数量的任何 它不在乎的东西,而且它越 聪明,能想到的这种办法就越多。那么 这意味着我们必须预期AI 系统默认会产生非常大的副作用。 你可以尝试用价值观填满整个系统, 但指定你可能关心的每一件 可能的事情并不实际。你需要 一个与环境复杂度相似的目标函数。 需要重视的事情太多了, 而我们并不全知道。你知道,你会 漏掉一些,如果你漏掉的任何东西可以 被换成你不漏掉的任何东西的 一点点,那么你漏掉的那个东西 就可能消失了。但至少这些副作用 往往非常相似。论文
HN 上的讨论
对于那些对 AI 安全好奇的人,我强烈推荐 Robert Miles 的 YouTube 频道。他有很多好内容描述了我们在尝试创建安全 AI 时面临的挑战。这里有一个潜在的起点:[VIDEO] — jononor, 2023-01
这突出了一个有趣的普遍观点——在许多情况下,没有简单的安全后备策略。在高速公路上,紧急停车并不安全。这是 AI 安全中的一个普遍问题,在这个 YouTube 视频以及其中引用的论文中得到了很好的阐述 - [VIDEO] — nmca, 2018-05
关于对齐,请参阅本次演讲的“我们在哪里”部分:[LINK] 另请参阅 AI 安全问题,了解人们目前正在研究的具体问题——即用代码和真实模拟,而不仅仅是数学和思考:[VIDEO] 关于扩展。这被称为智能爆炸,有很多相关文章,但要点只是通过简单地增加工作记忆大小、思考速度、预测精度、模式匹配等,你就能达到难以想象的高水平。此外,如果你能制造出人类水平的 AI,那么自然只需时间就能让它稍微更好。起初只是更快,只是更雄辩,情感深度稍深,它变得更擅长说话、思考。起初它是一个问问题的孩子,后来是一个聪明人,在你编码时发现你的错误,很快,我是说很快,它就会为所欲为,因为当你试图与它对抗时,你已经输了,因为你陷入争论,而它却为所欲为。(当然,除非它被控制住。至少暂时如此。) — pas, 2018-11
相关视频
- Hillel Wayne - 超越单元测试:将测试提升到新水平 - PyCon 2018 · PyCon 2018 · 29:20
- 天真的经验主义、恐怖主义与埃博拉。 · N N Taleb's Probability Questions · 10:08
- 我们必须接受量子怪异吗?德布罗意-玻姆导波理论解释 · Looking Glass Universe · 11:59
- 发生在马身上的事正在发生在我们身上 · CGP Grey · 15:00
- 为什么 AI 会想做坏事?工具性趋同 · Robert Miles AI Safety · 10:35
- Veritasium:关于AI和学习,大家都搞错了什么——德里克·穆勒解释 · Perimeter Institute for Theoretical Physics · 1:15:10
- 智能与愚蠢:正交性论点 · Robert Miles AI Safety · 13:02
- 我们正在构建一个反乌托邦,只为让人们点击广告 | Zeynep Tufekci · TED · 22:55
- AI 安全入门,重制版 · Robert Miles AI Safety · 18:04
- AGI的火花:GPT-4的早期实验 · Sebastien Bubeck · 48:32
- 为什么不呢:把 AGI 想象成一家公司? · Robert Miles AI Safety · 15:27
- AI 困境 - 2023 年 3 月 9 日 · Center for Humane Technology · 1:07:31
- 杀戮机器人 · Stop Autonomous Weapons · 7:48
- 34C3 - 老兄,你毁了未来! · media.ccc.de · 57:58
- AI 安全是帕斯卡的赌注吗? · Robert Miles AI Safety · 13:41
- 科幻短片《杀戮机器人》 | DUST · DUST · 7:58