AI 安全入门,重制版

Intro to AI Safety, Remastered

频道:Robert Miles AI Safety · 时长:18:04 · 发布:2021-06-24 · 播放:211272

在 YouTube 观看

简介

Robert Miles 给出了一个重制版的 AI 安全入门,改编自伦敦的一次演讲。它阐述了为什么先进 AI 可能出错,并回答了常见的反对意见。

HN 为什么推荐

对于想要一个平易近人、有趣的 AI 风险和对齐入门的新手来说,这是默认链接。

这是一个相当平易近人的入门,常常很有趣 — HN, 2023

AI 安全、AGI 与影响

中文字幕节选

嗨。这个视频是很久以前我做过的一次演讲的录像。 我之前已经在我的第二个频道上发布过一个版本, 但你知道我有第二个频道吗? 大多数人不知道。我觉得应该有更多人看到它, 所以我重新制作了它。我清理了内容, 改进了图形,没错,就是这个。请欣赏。 好。大家好。我叫Robert Miles。我通常在YouTube上做这个。 我不太习惯公开演讲。我不 习惯无法剪辑掉我的错误。 可能会有错误。另外,我可能讲得太快。抱歉,但不抱歉。 所以说到AI安全,你可以 沿着两个轴把它分成四个领域。 有短期和长期, 还有事故风险和滥用风险, 这是一种有用的划分方式。 AI安全涵盖一切。最让我 感兴趣的是长期事故 风险。我认为一旦你有了非常强大的AI 系统,它们是否被 正确的人或错误的人使用,或者 你想用它们做什么,几乎都不重要。困难 在于如何让它们始终处于控制之下。所以这就是 我要讲的内容。什么是AI安全?为什么它重要? 所以我想从提出一个问题开始, 我认为每个人都需要问自己这个问题。 你所在领域最重要的问题是什么?花点时间想一想, 以及你为什么不研究它?对我来说, 我认为AI领域最重要的问题 是AI安全。这正是我担心的具体问题, 即我们迟早会构建出具有通用智能的 人工代理。所以我要 深入讲解一些术语。首先 是,我说迟早是什么意思? 这有点模糊,但这是一张 调查图表,一项针对AI专家的大型调查。 这些人曾在主要AI会议上发表过论文,他们被问及 他们认为我们何时会实现高级机器 智能,其定义是一个代理 能够执行人类能做的任何任务, 且与人类一样好或更好。他们说 有50%的概率实现这一点,从2016年起 大约45年。但当然, 从现在起9年内有10%的概率。所以 这不是马上发生,但正在发生。这 确实需要谨慎对待, 因为如果你稍微换个方式问问题, 你会得到120年而不是45年的估计。 这个领域有很多不确定性。但 关键是,正如我所说,它迟早 会发生。因为归根结底,通用 智能是可能的,大脑实现了 它,而大脑并不神奇。迟早, 我们会弄明白。那么我说 人工代理是什么意思?代理是一个 主要来自经济学的术语。但基本上,代理有 目标。它们选择行动来推进自己的目标。 这是对代理最简单的表述。 所以你可能称之为代理的最简单的东西 就是像恒温器这样的东西。它 有一个目标,就是让房间保持在 特定的温度。它有可以采取的行动。 它可以打开暖气。它可以打开空调。 它选择行动来实现 其保持房间温度稳定的目标。 极其简单的智能体。更 复杂的智能体可能像国际象棋AI, 它的目标是,比如,如果它执 白棋,它的目标是让黑王 被将死。它采取行动的形式 是在棋盘上移动棋子以实现 其目标。所以你看,智能体这个概念 是思考许多 不同智能系统的一种非常有用的方式。当然, 人类也可以被建模为智能体。这 是经济学中通常的做法。个人 或公司可以被认为有一个目标

HN 上的讨论

我强烈建议任何对这些担忧背后的推理持怀疑态度或问出“为什么我们不直接做x来解决这个问题?”之类问题的人去看看Robert Miles的YouTube频道[1]。这是一个非常平易近人的介绍,常常很有趣,看完所有核心视频不需要很长时间,如果你看完整个系列,它会非常彻底地回答所有“为什么不直接做x”的问题。他还很好地介绍了该领域使用的许多术语,如果你想进一步查阅论文并深入了解细节。他提出的一个重要观点是,当你进行风险评估时,你必须同时考虑出错的概率和潜在后果的范围。当潜在后果是生存威胁时,你不需要高概率就认真对待它们。我还碰巧认为,如果你看完所有材料,他会提出一个令人信服的论点:除非我们开始以与现在截然不同的方式对待人工智能研究(尤其是安全和伦理问题),否则出错的几率相当高。[1] [VIDEO] — durbleflorp, 2023-01
要是那样就好了。在“我们的道德”(请定义一下)和“我们想成为的样子”之间有很大的空间,AGI可以在那里狠狠地坑我们。看看Robert Miles关于人工智能安全的视频,这里有一个很好的介绍:[VIDEO] — albumen, 2023-10
基本论证很简单:未来系统有可能达到超人能力;有能力的系统必然具有工具性目标;工具性目标往往会趋同;当其他目标被强烈选择时,除非有意保留,否则人类偏好不太可能被保留;我们不知道如何让 AI 系统稳健地编码任何复杂的偏好。Robert Miles 的视频是我见过的关于这份清单中具体论点的最佳阐述之一,主要是在对齐方面而非能力方面,适合休闲入门。例如这个关于工具性趋同的:[LINK] 例如这个主题介绍:[VIDEO] 他还有社区主导的 AI Safety FAQ,[LINK],对常见问题给出了简短回答。如果你有具体问题,我也许能指向更深层次的更具体论证。 — Veedrac, 2023-05
我推荐Robert Miles的YouTube频道,他的“人工智能安全入门,重制版”是一个很好的起点:[VIDEO] 我觉得Robert Miles说(视频大约12:40处)“如果你有一个足够强大的智能体,并且你设法想出一个非常好的目标函数,涵盖了人类珍视的前20件事,那么人类珍视的第21件事可能永远消失了”时,令人担忧地可信。 — lambertsimnel, 2023-05
有没有可能添加一些AI安全资源的链接,比如乔·卡尔史密斯的《权力寻求AI》([LINK])或罗布·迈尔斯的《AI安全入门》([VIDEO])?也许你还可以链接到关于AI盒子实验的资源?我知道你模糊地提到了它,但如果人们自己没听说过,明确链接到资源可能会更好。 — casebash, 2022-12

相关视频