AI 继承

AI Succession

频道:Rich Sutton · 时长:17:52 · 发布:2023-09-09 · 播放:13450

在 YouTube 观看

简介

Rich Sutton 为上海世界人工智能大会录制的简短演讲,主张从人类到 AI 的继承是不可避免的。他阐述了自己对这一转变的看法。

HN 为什么推荐

被批判性地引用,作为一位著名 AI 研究员令人不安的观点的证据,他似乎接受人类被取代。

AI 安全、AGI 与影响

中文字幕节选

早上好,上海,我非常荣幸、特别高兴能向各位致辞 参加上海世界人工智能大会的各位,本次会议这一部分的 主题是通用人工智能的方向 以及大语言模型时代的风险。关于这一点我有很多话要说,但首先 让我们回顾一下,以更好地理解我们所处的位置。人工智能领域 大约有70年的历史了。在本世纪,它经历了巨大的变化,尤其是 在过去十年里,AI在经济上变得重要,大量新的 资金流入了AI产品和研究的开发。在过去 十年里,这个领域发展极其迅猛,参与AI 研究开发的人数增长了10倍,按某些计算方式甚至增长了100倍 最近,随着OpenAI的Chat GPT在不到一年前发布,AI已经爆发式地进入了公众 意识。伴随着日益增长的兴奋, 对AI的恐惧也在增加。有人呼吁暂停或停止AI 开发,声称AI构成了生存风险,一种灭绝的风险, 堪比大流行病和核战争。我一直说,你们不应恐惧 AI,但你们应该关注它。我要把这一点说得更尖锐些, 我会说,AI最大的风险是恐惧。 也就是说,我们正处在一个巨大变革的时代,这一点现在对许多人来说正变得显而易见。我们有 关键的决定要做,我们不应出于恐惧来做这些决定,否则我们就有可能 做得很糟糕。但我有点讲得太快了。呃,首先让我们看看 未来的驱动力,而最大的驱动力法则就是摩尔定律。摩尔定律是 计算机算力成本持续不断的指数级下降。我们 都见过像这里这样的图表,纵轴是每美元算力, 采用对数刻度,因此每一个主要增量实际上都是 算力增加了五个数量级, 十万倍。横轴是时间,以年为单位,我们看到 这条曲线略微向上弯曲,这意味着它比 一条直线所代表的指数增长还要稍快一些。这比指数增长 稍快一点,只是稍快。总之,这确实似乎是一个清晰的 趋势,我们可以把它画出来。如果你把它映射到更远的未来, 最终它会越过每秒钟10的16次方次计算, 以一千美元的价格,而这大致被估计为人类 大脑的算力。所以,这条线,我们 将在2030年左右越过10的16次方。 当然,所以到2030年,我们将以一千美元获得大脑规模的算力。 当然,这只是硬件。算法,也就是软件,还需要 几年,或者很可能还需要几年。它们可能马上就来, 也可能需要更长时间。但一旦我们两者兼备,我们就应该能够 通过技术创造或成为比人类 现有智能更高的智能存在。这将改变一切。这也许最好 被理解为人类的上升,人类的攀升。到那时, 向AI的传承是不可避免的。这将是下一个伟大的步骤: 技术增强的人类,然后AI将成为我们的继承者,不可避免地。 最终,它在所有方面、几乎所有方面都会变得更加重要, 比普通人类更重要。所以这次演讲的主要论点是 关于传承规划的论证。基本上,摩尔定律达到其关键 阶段,新计算达到这些关键水平,每个人都看到AI的 经济优势,算法将被强大地发明出来。我实际上认为 不可避免地,我们将创造我们的继承者。这完全不应被视为坏事。 我们从AI诞生之初就知道这即将到来,至少从冯·诺依曼和IJ

HN 上的讨论

是时候提醒大家,Sutton 是一个人类替代主义者,不在乎人类是否全部灭亡。他不值得信任,也不值得赞扬:[VIDEO] — vonneumannstan, 2025-03
他并不真的相信你能将一个智能超过某个阈值的 AI 与单一实体的目标对齐。他的风险计算主要源于 AI 本身,而非他人对 AI 的武器化。Rich Sutton 似乎同意这种观点,并拥抱我们的灭绝:[VIDEO] — johnthewise, 2023-11
Richard Sutton 过去在强化学习领域做过非常出色的研究。不过最近,他一直在鼓吹终结人类,这有点令人不寒而栗[1]。[1]: [VIDEO] — espadrine, 2023-10
显然,Rich Sutton 因其在强化学习方面的贡献而成为人工智能领域的巨人,但他最近的一个简短演讲“AI Succession”([VIDEO])让我有点担心他对这里“好”结果是什么样的看法。我这么说是因为我总体上对 AGI 的前景持乐观态度。我不爱机器作为一个“物种”,按照 Rich 在这里的定义,是的,我是支持人类的“物种主义者”。我认为我们应该为了自己的利益使用技术,机器“取代”我们并非不可避免。我也认为他对反方论点的描述并不宽容。严肃的 AI 风险论点并不认为超级智能 AI 必然是邪恶的。他们只是认为它的动机会与我们不一致,它在实现目标方面会比我们更有能力,而这作为副作用对人类不利。我认为一个很好的比较是人类修建高速公路时意外压死了一个蚁群。他们并不是因为讨厌蚂蚁而执行邪恶任务去摧毁它们,这只是人类想要的东西的副作用。不需要邪恶。 — md2020, 2023-09

相关视频