我们如何防止人工智能杀死我们——与 Paul Christiano 对话

How We Prevent the AI’s from Killing us with Paul Christiano

频道:Bankless · 时长:1:57:02 · 发布:2023-04-24 · 播放:63353

在 YouTube 观看

简介

Bankless 播客采访了 Alignment Research Center 的 Paul Christiano,讨论 AI 对齐问题及可能的解决方案。还涵盖了他对 AI 接管可能如何展开的看法。

HN 为什么推荐

HN 链接它作为与领先对齐研究员关于 AI 风险的平衡、完整采访。

整个采访也很有趣。 — HN, 2023

大语言模型与生成式 AI · AI 安全、AGI 与影响

中文字幕节选

我们最可能的死法并不是AI突然冒出来杀死 所有人,而是我们已经在各处部署了大量AI,你可以 直接看着它想,哦对,如果万一,上帝保佑别发生,所有这些AI 系统都试图杀死我们,它们绝对能杀死我们。欢迎来到Bankless, 在这里我们探索前沿技术。今天这期节目是关于人工智能的, 这是如何入门、如何变得更强、如何抢先抓住机会。 我是Ryan Sean Adams,和我一起的是David Hoffman,我们在这里帮你变得 更加bankless。各位,今天我们节目有一位特别嘉宾,Paul Christiano, Eliezer Yudkowsky告诉我们要去找他聊,说他在AI辩论中是他尊敬的人,所以 我们挖掘了他的想法。他是一位AI安全对齐研究员,我们问了这个问题: 我们如何阻止AI杀死我们?我们能防止其他人非常担心的 AI接管吗?今天有实际上四个要点。第 一,AI对齐问题有多大?我们问了Paul这个问题。第二, 真正解决这个问题有多难?第三,我们解决它的方式有哪些, 技术上的方式,我们能否围绕这个问题协调解决?最后我们聊了 一个可能的乐观场景,我们与AI和谐共处, 它们改善我们的生活,让它变得好很多。David,在我们这个系列中, 这期节目对你来说意义是什么?是的,我觉得新开场很好, 当我们报道前沿技术时,而且这期节目不是帮你 变得更bankless,我觉得这期真正是抢先抓住机会, 我们在努力帮助人类不死,我们在努力帮你不要死, 不要死,我们所有人。是的,你和你以外的全世界,我觉得我们 在尽我们所能做到最好,也就是教育和提高对 这个AI问题的认识。呃,Paul Christiano就像你说的,是Eliezer 推荐的人,是以技术方式正面迎击这个问题的人,所以 在这期播客中,你会听到人们正在积极研究的技术 解决方案,他们极其认真地对待这个问题,极其 认真地对待风险。Eliezer给我们的差不多是末日场景, 像是99%的末日概率。呃,Paul Christiano只给了我们10%到20%的 末日场景概率,乐观得多,喜欢这个概率,所以我更喜欢 这个概率。呃,所以他会,我们会讲为什么他仍然非常担忧,他 确实认为这是未来他最可能的死法,但为什么 仍然有80%的成功概率,而这80%的成功概率中 确实包含乌托邦。我想也许Ryan,在三五年十年后,我们 能够回看这期节目,希望如果Paul是对的,而且我觉得他是 对的,在把极其重要的对话提升到 主流方面,他超前于时代,尽我们所能,这样我们能让更多人专注于 实际的解决路径,确保那20%的末日风险降到 0.2%的末日风险,我觉得这就是这期节目的意义, 也是我们为什么做这样的节目。是的,我的意思是,说清楚一点,Paul真的 认为AI对齐是一个可解决的问题,这跟这个领域的 其他人非常非常不同,他告诉了我们确切的原因。我从 Eliezer那期节目得到的结论是,人类完蛋了。这期是,人类完蛋了,但我们

HN 上的讨论

>你有没有一个预测正确的人的反例?因为如果没有,那应该只会让你更害怕。如果有任何人预测了LLM的工作方式,而Eliezer未能做到,并且那个人预测“AGI会很酷,并且会自然优先考虑我们的福祉”,我很想知道。最近对Paul Christiano的采访是我最接近这个的。他在链接的时间戳确实指出了一些半准确的预测,但事情可能如何发展的预测并不乐观,尽管他比Eliezer乐观得多。 [VIDEO] 而且整个采访都很有趣。在接近结尾时,他详细说明了全世界实际上有多少人研究AGI的X风险。他还概述了学术机器学习社区总体上如何不断做出非常错误的预测,并且许多人没有认真对待X风险。总的来说,他的观点是我见过的最平衡的。比Eliezer好多了。 — barking_biscuit, 2023-05
我有点记错了;看起来他的观点不是关于相互信任,而是关于支持控制奖励渠道的人。从这里开始,Christiano说AI接管可能遵循政变的动态: [VIDEO] 这里更详细: [VIDEO] “假设我的任务是帮助防御你免受其他AI的攻击……我的工作是,有人来黑你的电脑,我应该帮助你防御。应该帮助改善你的安全状况,等等。我在想,我能做什么来获得高奖励。我能做的一件事是真正帮助防御你的电脑,做你实际要求我做的任务。但另一种获得高奖励的方式是在一天结束时说,真正重要的是你如何衡量我的表现。而你对我的表现的衡量最终只是将一些数字输入到某个数据集中,计算机说我的表现如何。如果我与这个试图攻击你的AI合作,说嘿,入侵的AI,你知道吗,如果你帮我,我们都让它看起来像我做得很好,比如我赢了,你赢了,因为你得到了那个人的东西;我会得到很高的评分,因为所有输入数据集的数字都会很高,这是双赢,每个人都开心。” “在… — mitthrowaway2, 2023-11
这段引用来自Paul Christiano博士,他是OpenAI基于人类偏好的深度强化学习(RHLF)的发明者。帖子开头:[LINK] 完整视频,《如何与Paul Christiano一起解决AI对齐问题》: [VIDEO] — CharlesW, 2023-04

相关视频