超级智能:科学还是虚构?| 埃隆·马斯克及其他伟大思想家

Superintelligence: Science or Fiction? | Elon Musk & Other Great Minds

频道:Future of Life Institute · 时长:1:00:15 · 发布:2017-01-31 · 播放:663865

在 YouTube 观看

简介

2017年有益人工智能会议的小组讨论,由马克斯·泰格马克主持,参与者包括埃隆·马斯克、斯图尔特·罗素、库兹韦尔、哈萨比斯、哈里斯、博斯特罗姆、查尔默斯等人。他们讨论了人类水平 AGI 的可能结果以及哪些结果是可取的。

HN 为什么推荐

HN 主要引用其中的具体言论,如哈萨比斯关于 AGI 和安全缓冲的言论,而非直接推荐。

AI 安全、AGI 与影响

中文字幕节选

我要问一个问题,但你们只能 用“是”、“否”或“很复杂”来回答。 好吗?那么,我们从这边开始。 某种形式的超级智能是可能的吗,Jaan? “是”、“否”或“很复杂”。 是。是。是。是。 是。是。绝对是。否。 嗯,这真令人失望,我们没发现任何分歧。 让我们再努力试试。 仅仅因为它是可能的,并不意味着它真的会发生。 所以,之前我问的是,根据物理定律,超级智能是否 完全可能。 现在,我问的是,它真的会发生吗? 有点复杂,但是的。 是的,如果它不发生,那么一定发生了可怕的事情来阻止它。 是的。很可能。是的。 是的。是的。是的。 不。唉,还是没发现任何有趣的分歧。 我们还需要更加努力。 好。所以,你们认为它会发生,但你们 真的希望它在某个时候发生吗? 是、否,还是很复杂? 很复杂,倾向于“是”。 很复杂。 是的。是的。真的很复杂。 是的。很复杂。非常复杂。 嗯,见鬼,我不知道。 这取决于哪种类型。 好的,所以这变得有点意思了。 当我想,我们有一个非常迷人的... 它什么时候会发生? 嗯,我们在今天上午的小组讨论中 已经就我们何时可能达到人类水平的人工智能进行了非常迷人的讨论。 所以,这大概会设定一个下限。 考虑到时间关系,我认为我们不需要重新讨论何时 超越它可能开始的问题。 但是,让我们问一个与刚才这里提出的问题非常相关的问题。 主要是,如果某些事情开始发生,如果你得到某种 递归自我改进或其他过程, whereby 智能和机器开始 非常非常迅速地起飞,总是有一个与之相关的时间尺度。 在那里,我希望我们最终能找到一些真正严重的分歧来争论 这里。有些人一直在设想这种情景, 它“砰”地一声,事情在几天、几小时或更短时间内发生。 而其他人设想它会发生, 但可能需要数千年或数十年。 所以,如果你想到某种倍增时间,某种粗略的时间尺度, 事情会显著改善,你会猜测什么时间尺度,Jaan? 从现在开始还是从人类水平开始? 不,不,所以一旦我们达到人类水平的人工智能或任何 超越那一点或稍早一点, 在那里事情真正开始起飞,时间尺度大概是什么? 任何爆炸,作为一个书呆子物理学家,都有某种 时间尺度,对吧,它发生的时间。 我们谈论的是秒、年,还是千年? 我想的是年,但重要的是要表现得好像这个时间线更短。 是的,我实际上并不真的相信我的直觉。 我的直觉是我们想的是年,但我也认为人类水平的人工智能是 一个海市蜃楼。它会突然变得比人类更好,但 那是否会迅速成为一场完整的智能爆炸,我不知道。 我认为这在一定程度上取决于最终实现人类水平人工智能的架构。 所以,目前我们似乎正在构建的这种受神经科学启发的人工智能, 需要经过训练并积累经验, 才能获得知识,这可能 需要,你知道,大约几年甚至可能十年。 可能需要若干年,但也可能短得多。 不过,如果时间更长,我也不会感到惊讶。 可能只需几天或更短,特别是如果 是人工智能研究人员在设计人工智能研究人员。

HN 上的讨论

“而真正让我兴奋的是超级智能 AI 的诞生——除了解决疾病和能源问题等明显问题之外,其中一件事或许与 Stuart 所说的略有不同。我不太担心白痴化或我们所有人都像猿猴一样迷失方向,在与这些神谕的对话中过着没有生产力的生活。实际上,我认为,我希望一个真正价值对齐的超级智能能够逐步向我们展示,不仅仅是保留我们想要的,而是向我们展示我们应该想要什么,以不断改进我们的价值观,从而我们能够在所有可能体验的空间中导航,并收敛到越来越好体验。”——Sam Harris 来源:[VIDEO] — passion__desire, 2022-12
Demis Hassabis。[VIDEO],较早的 [LINK](注意‘可能’≠‘>50%’,不确定他的百分比会是多少)我可以提供更多,但我已经在上游链接了一篇关于此的论文,所以似乎没什么意义。 — Veedrac, 2021-03
包括 DeepMind 的 CEO Demis Hassabis 和 Stuart Russell 教授(AAAI 和 AAAS 会士,大多数顶尖大学使用的 AI 教科书的合著者)在内的顶尖人士都同意,AGI 绝对可能并且将会发生。[1] Hassabis 在另一次会议中还表示,在达到 AGI 之前可能至少还有半打山峰要攀登,如果耗时超过 20 年他会感到惊讶。他还说,取得重大进展比他想象的要容易。[2] 考虑到过去 3-4 年神经网络架构和系统大约每年一次重大飞跃,其中包括训练神经网络在模拟器中练习后实现物理机器人控制的一次性学习,我们真的应该如此自满吗?即使进展放缓到每两年一次,并且需要 12 次才能达到 AGI,那也只有 24 年。如果速度继续保持每年一次,那只有 12 年。[1] 从 [VIDEO] 开始 [2] [LINK] 注意:强化学习远非 DeepMind 和 OpenA… — nopinsight, 2017-07
DeepMind 的使命是构建 AGI。我认为如果他们比其他所有努力都领先一步,那可能是件好事。这种担忧可能影响了发布代码的决定。Demis Hassabis 在这里描述了为什么领先一步会更好:[VIDEO]……要点是:在此过程中可能存在代价高昂的安全考虑。更“资本主义”的组织可能会因为赢者通吃的局面而决定走捷径。DeepMind 至少名义上非常致力于安全。发布 AlphaGo 的源代码可能会减少 DeepMind 的领先优势,理论上也会降低安全性。 — rojobuffalo, 2017-05
> 这很愚蠢,而且评判性极强 不,真的不是。仅仅观看‘生命未来研究所’的这个小组讨论/问答,Elon Musk 和其他人回答“某种形式的超级智能是否可能?”这个问题,就让我毛骨悚然(Musk 显得最理智):[VIDEO] > 作者的观点是,到(比如)2050 年,我们可能会看到 AI 提出令人不安的“智能”问题 比幼儿的问题更令人不安?根据你的说法,它可能会提出什么令人不安的问题?我完全不明白你在说什么。当我读到像你这样的评论时,出现的问题是:有些人是否如此疏离于自己和他人,以至于他们相信机器能够比人类更好地发明和从事科学?我就是看不到用例。真的,有人能向我解释一下,当我们面临如此多的其他挑战时,将荒谬数量的稀缺自然资源和时间投入到创造类人 AI 这一概念上有什么意义:环境污染和中毒、住房金融化、电子垃圾和维修权(真的应该叫‘污染权’,因为如今公司基本上被法律允许污染 [1]),以及私有… — beckman466, 2021-03

相关视频