Eliezer Yudkowsky:AI 的危险与人类文明的终结 | Lex Fridman 播客 #368

Eliezer Yudkowsky: Dangers of AI and the End of Human Civilization | Lex Fridman Podcast #368

频道:Lex Fridman · 时长:3:17:51 · 发布:2023-03-30 · 播放:2170645

在 YouTube 观看

简介

Lex Fridman 与 AI 研究者 Eliezer Yudkowsky 长达三小时的播客对话,讨论超级智能 AI 的危险以及他关于这可能终结人类文明的观点。内容涵盖 AI 对齐、为何他认为 LLM 的能力被误解,以及主张极度谨慎的理由。

HN 为什么推荐

主要被引用为 AI 末日论观点的经典陈述,有人推荐,也有许多人批评其不负责任或错误。

我会推荐听 Eliezer Yudkowsky 关于这个主题的讨论 — HN, 2023

大语言模型与生成式 AI · AI 安全、AGI 与影响

中文字幕节选

问题在于,我们并没有50年时间 去反复尝试、观察我们错在哪里, 再提出不同的理论,并意识到整件事 会比一开始想象的困难得多, 因为当你第一次未能对齐一个 比你聪明得多的东西时,你就死了。 以下是与埃利泽·尤德科夫斯基的对话,他是一位传奇研究者、 作家和哲学家,研究领域是人工智能, 尤其是超级智能AGI及其对人类文明的威胁。 这里是莱克斯·弗里德曼播客,支持我们请 查看描述中的赞助商。 现在,亲爱的朋友们,有请埃利泽·尤德科夫斯基。 你怎么看GPT-4? 它有多智能?——它比我预想的 这项技术能达到的规模要聪明一点, 我有点担心下一个会是什么样。 比如这一个,我想,我希望里面没有谁,因为你知道, 被困在里面可不好受。 但我们现在连架构都不知道, 因为OpenAI非常得体地没有告诉我们。 而且,就像巨大的、难以理解的浮点数矩阵, 我不知道里面发生了什么。 没人知道里面发生了什么。 我们只能依靠外部指标,而在外部指标上, 如果你让它写一段有自我意识的4chan绿字文, 它会开始写一段绿字文,讲它如何意识到 自己是一个正在写绿字文的AI,然后,就这样吧。 所以那可能 并不完全是现实中里面发生的事。 但我们正在冲破所有科幻小说的护栏。 比如我们已经过了科幻小说里人们 会喊“哇,等等,停下,那东西活了”的那个点。 “你们在对它做什么?” 而且它可能不是,实际上没人知道。 我们没有任何其他护栏。 我们没有任何其他测试。 我们没有任何可以划在沙地上的界线,说, 好吧,当我们走到这一步时,我们就会开始担心里面有什么。 所以如果由我决定,我会说,好吧, 就到这里,不能再远,是时候来个AI之夏了,我们已经播下种子, 现在我们就等待并收获我们已经开发出的技术的成果, 不再进行比那更大的训练运行。 明确地说,我意识到这需要不止一家公司同意不那样做。 ——并采取严谨的方法,让整个AI社区 去调查里面是否有谁。 ——那需要几十年。 比如对里面发生了什么有任何概念? 人们已经尝试了一段时间。 ——这是一个诗意的说法,关于里面是否有谁, 但我觉得它也是一个技术性说法,或者我希望 有一天它会是一个技术性说法,就像艾伦·图灵试图提出的 图灵测试。你认为是否可能明确地或近似地 弄清楚里面是否有谁,是否有类似心智的东西 在这个大型语言模型内部? ——我的意思是,这里有一大堆不同的子问题。 有一个问题是,有意识吗? 有感受吗?这是一个道德关切的对象吗? 这是一个道德主体吗,比如我们应该担心我们如何对待它吗? 然后还有问题,比如它到底有多聪明? 它能做X吗,能做Y吗? 我们可以检查它如何做X,如何做Y。 不幸的是,我们已经将这个模型暴露给了海量的 互联网上人们讨论意识的文本语料库, 这意味着当它谈论自我意识时, 我们不知道它在多大程度上是在重复它 之前训练过的关于讨论自我意识的内容, 或者里面是否有什么东西,使得它

HN 上的讨论

这次对话中没有真正承认生存威胁。我建议听听埃利泽·尤德科夫斯基关于这个主题的[1][2]:> 如果有人建造了一个过于强大的AI,在目前条件下,我预计人类物种的每一个成员和地球上所有生物生命都会在不久后死亡。> 没有任何关于我们如何做到这样的事情并生存下来的计划。OpenAI公开宣称的意图是让未来的某个AI替我们做AI对齐的功课。仅仅听到这就是计划,就足以让任何理智的人感到恐慌。另一家领先的AI实验室DeepMind则完全没有计划。没有任何关于我们如何做到这样的事情并生存下来的计划。OpenAI公开宣称的意图是让未来的某个AI替我们做AI对齐的功课。仅仅听到这就是计划,就足以让任何理智的人感到恐慌。另一家领先的AI实验室DeepMind则完全没有计划。尤德科夫斯基和其他人夸大了当前GPT的能力,这是一个合理的批评。例如,埃利泽说“它能推理吗?它会下棋”。但我看了一盘GPT下棋(实际上发表在… — gregwebs, 2023-04
我有同感,api,但我确实看完了整个视频[VIDEO],现在我不停地想,埃利泽太聪明了,比我聪明,我应该听他的吗? — andrewfromx, 2023-11
不,我不这么认为。不是因为内容,而是因为缺乏内容。那些已经对缺失内容有所了解的人并不是会从中受益的普通观众。在我看来,TED演讲不是合适的格式。TED几乎没给他足够的时间告诉我们天要塌了。人们需要更多的深度来了解那可能是什么样子,以及它如何适用于他们,甚至寻找它意味着什么。我认为格式应该是3或4小时的长篇播客。哦,不只是一个,而是很多个。每个播客最多应该有3位嘉宾,否则就会变成破坏性的辩论,但每位嘉宾都应该非常聪明,应该帮助埃利泽深入每个兔子洞,阐明AGI可能采取的路径以达到其期望的结果,以及它会使用什么逻辑来达到这个结果。还应该讨论如何在不完全禁止技术的情况下减轻最高风险,因为不可能在世界范围内禁止一个框架或工具集。人们应该带着对事情可能/将会变得多糟糕的理解离开,以及他们如何在自己的职业领域中为减轻这些坏事做出贡献。或者至少能发现他们或他们的同事何时可能赋予自动化做坏事的权力。还应该… — LinuxBender, 2023-07
我要补充这篇文章中提到的观点:我们仍然不完全了解LLM AI是如何工作的,也无法解释在提供一定量的训练数据后能力上的飞跃。萨姆·奥特曼谈过这个问题,埃利泽·尤德科夫斯基也与莱克斯·弗里德曼分享了一些想法:[VIDEO] — m348e912, 2023-04
简而言之,这就是他在谈论的同一个功能,而且他以一种非常尤德科夫斯基的方式错了。我对此很好奇,所以我去查了一下:[VIDEO] 他推测维基百科是从Arbital得到这个想法的。据我所知,那似乎是一个类似维基的网站,大约在2015年开始——我从未听说过它,所以它可能更早?那确实早于维基百科上这个特定的弹窗实现,后者是2018年的。有趣的背景实际上在文章中讨论过——维基百科弹窗的起源是维基百科上的一个社区小工具(导航弹窗),那要早得多。我在维基百科上随便找到的最旧版本是2007年的。除非Arbital比我想象的要古老得多(比LessWrong本身还古老,后者是2009年的),否则灵感链条大概是反方向的。或者完全独立。这篇文章总体上是关于为什么从那个工作示例到更强大的东西花了这么长时间。 — kemayo, 2024-12

相关视频