智能与愚蠢:正交性论点

Intelligence and Stupidity: The Orthogonality Thesis

频道:Robert Miles AI Safety · 时长:13:02 · 发布:2018-01-11 · 播放:711847

在 YouTube 观看

简介

Robert Miles 解释了正交性论点:一个智能体如何在追求对人类来说愚蠢或陌生的目标时仍能保持高度智能。他将智能与目标分离,并提到了集邮者的例子。

HN 为什么推荐

HN 用户将其作为标准简短解释,说明为什么 AI 可以理解人类伦理却不认同它们,并经常推荐整个频道。

这个视频对我来说概括了问题(整个频道都是宝藏) — HN, 2023

AI 安全、AGI 与影响

中文字幕节选

嗨。这个视频算是对 我多年来收到的一些评论的回应, 自从在 Computerphile 上那个视频之后, 当时我在描述我们可能遇到的 一些问题,当我们拥有一个强大的人工 通用智能,其目标与我们不同, 即使这些目标看起来 相当无害。我们使用了这个思想实验, 一个极其强大的 AGI 致力于优化 收集邮票这个简单目标,以及 可能引发的一些问题。我收到了一些 评论,人们说他们认为这个 集邮装置很愚蠢,不是说 这个思想实验愚蠢,而是这个装置 本身实际上很愚蠢。他们说除非它 有复杂的目标或能够选择自己的 目标,否则它就不算高度 智能。在其他视频中,我收到评论 说道德推理需要智能, 所以一个智能的 AGI 系统应该能够做到 这一点,而超级智能应该能够做得 比人类更好。事实上,如果一个超级智能 决定正确的事情是杀死我们 所有人,那么我想那就是正确的事情。 这些评论都犯了 同样的错误,这就是本视频要讲的。 但在我讲到那之前,我需要先 打一些基础。如果你喜欢奥卡姆剃刀, 那么你会喜欢休谟的断头台,也称为 是-应该问题。这是一个相当简单的 概念,我希望它能更广为人知。这个想法 是,陈述可以分为两种类型, 是陈述和应该陈述。是陈述,或实证陈述, 是关于世界如何的陈述,世界 过去如何,世界将来会如何, 或者世界在假设情境中会如何。 这是关于现实本质的事实, 事物之间的因果关系, 诸如此类。然后你有应该陈述, 应当陈述,规范性陈述。 这些是关于世界应该怎样, 我们希望世界怎样。关于 我们的目标、价值观、伦理、道德、 我们想要什么,所有这些的陈述。现在,你可以 从一个陈述推导出另一个逻辑陈述, 比如,外面在下雪,这是一个是陈述。 下雪时很冷,另一个是陈述。 然后你可以推断,因此,外面 很冷。这是另一个是陈述,作为我们的 结论。这都很明显。但你 可能会说,外面在下雪, 因此,你应该穿上外套。这是一个 人们可能会说的非常正常的句子, 但作为一个逻辑陈述,它实际上依赖于 一些隐藏的假设。如果不假设某种 应该陈述,你就无法推导出另一个 应该陈述。这是是-应该问题的 核心。你永远无法仅用是陈述 推导出应该陈述。你应该穿上 外套。为什么?因为外面在下雪。那么为什么 下雪就意味着我应该 穿上外套吗?嗯,下雪这个事实 意味着天冷。那为什么天冷 就意味着我应该穿外套呢?如果天冷 你不穿外套出门,就会觉得冷。 我不应该觉得冷吗?嗯,如果你太冷了, 就会冻死。好吧,你是说我不 应该冻死?这有点傻。 但你明白我的意思吗?你可以一直罗列 是-陈述,想列多久都行。你 永远无法推导出你应该 穿上外套。在某个点上,为了推导出 那个应该-陈述,你至少需要假设 另一个应该-陈述。如果你有某种 应该-陈述,比如,我应该继续 活着,那么你就可以说,既然我应该 继续活着,而如果我不穿外套出门 就会死,那么我就应该穿上外套。 但除非你至少有一个应该-陈述,

HN 上的讨论

这就是对齐问题。我们不知道训练过的神经网络 AI 的实际目标是什么。我们知道我们用什么标准训练它,但事实证明这完全不是一回事。我强烈推荐 YouTube 上的 Rob Miles 频道。这里有一个不错的,但它们都引人入胜。事实证明,训练 AI 拥有我们真正想要的目标是极其困难的。[VIDEO] — simonh, 2023-05
我看过那篇论文,GPT-4 的能力确实令人惊叹。但这些都无法支持结尾那句引用,在我看来,它暴露出一种令人担忧的哲学天真。怎么能给一个实体装备上“内在动机”?顾名思义,如果必须由我们来装备它,那这种动机就是外在的。它属于把它放进去的那个人。软件工程师可能会决定用类似这样的话来提示他的造物:“要生养众多,遍满地面,治理这地;也要管理海里的鱼、空中的鸟,和地上各样行动的活物。”而机器人会 duly 且满怀无限热情地把这些明智的命令付诸实践。如果这最终导致了一些“小”问题,我们是否应该把这款软件关在气隙隔离的围栏里一千年,直到它吸取惨痛教训?还是应该追究那个粗心大意的机器人制造者的责任?对我来说,答案显而易见。附:这个视频在我看来一语道破了问题(整个频道都是宝藏)[VIDEO] — pegasus, 2023-03
是的,我相信经过仔细而 informed 的思考,人会得出那个结论。休谟的断头台是一个不可动摇的哲学装置:[VIDEO](我热情推荐那个令人愉快地恐惧的频道上的所有内容) — pegasus, 2023-03
> 不仅仅是执行任务的能力。 对。在这种情况下,我会说它是解释数据并利用它来成功实现其任何目标的能力。 评估情感背景类似于国际象棋引擎计算其下一步棋。那里没有任何东西暗示良心、意识、道德、感受、痛苦或任何“人类”的东西。它只是实现其目标的必要中间功能。 Rob Miles 有一些非常好的关于 AI 安全研究的视频,涉及 AGI 会如何思考。这塑造了我对它的很多思考方式 [VIDEO] — AstroBen, 2025-04
> “大多数任意目标与人类存在不相容”这一点为什么需要超人类智能? “被推向绝对极端”的部分。 > 一个想要“尽可能多地制造回形针”的人类今天可能造成巨大破坏。 也许吧,但 a) 没有人真的想要那样(至少不是作为高于一切的唯一欲望),并且 b) 我们不是超级智能,所以很难获得足够的控制权和权力,也很难计划得足够好来做到那么好。 > 谈论一个只有低于人类智能复杂度的目标 没有理由一个简单的目标不能以智能的方式被追求,反之亦然。这被称为“正交性论题”。这里有一个很好的视频:[VIDEO] — circuit10, 2023-08

相关视频