为什么不呢:把 AGI 想象成一家公司?
Why Not Just: Think of AGI Like a Corporation?
频道:Robert Miles AI Safety · 时长:15:27 · 发布:2018-12-23 · 播放:163299
简介
Robert Miles 提出,公司是否可以被视为通用人工智能超级智能,以及这种类比在多大程度上成立。他认为差异,例如受员工能力限制,对 AI 安全很重要。
HN 为什么推荐
HN 指出它是对 AI 风险只是公司风险这一说法的通俗反驳。
他以非常有趣且易于理解的方式呈现材料。 — HN, 2020
中文字幕节选
嗨。我有时看到人们说这样的话, 好吧,所以你的论点是,在未来的某个时候, 我们会开发出智能体, 它们能够对世界进行一般性推理, 并在世界中采取行动, 以实现其目标。这些智能体可能拥有 超人的智能,使它们能够 非常擅长实现其目标。而这是一个 问题,因为它们的目标可能与我们不同。 但我们不是已经有点这种情况了吗? 公司可以被视为超级智能 智能体。它们能够对世界进行 一般性思考,并且在一系列认知任务上 能够超越个体人类。而且 它们有目标,即最大化利润或 股东价值或其他什么。而这些目标 与人类的整体目标并不相同。 所以公司是一种错位的超级智能。说这话的人, 在建立了这个隐喻之后,此时 往往主要沿着政治路线产生分歧。 有人说,因此公司是对人类价值和目标的明显威胁, 就像错位的超级智能一样,它们需要被 更严格地控制,甚至彻底 摧毁。另一些人说,公司就像 错位的超级智能,但公司 在过去几个世纪里,对人类财富和福祉的巨大增长 起到了重要作用, 而总体负面影响相当小。 如果这就是错位超级智能的影响,我不明白为什么我们要 担心人工智能。还有人说,公司 当然有问题,但我们似乎已经 发展出了能够足够好地控制它们的系统, 使它们能够创造价值 并做有用的事情,而不会真的杀死 所有人。所以也许我们可以通过 研究我们如何处理公司,来学习如何控制或对齐超级智能。 所以我们要让前两个人自己争论, 然后我们和第三个人谈谈。那么,这个隐喻 有多好?公司真的像 错位的人工通用超级智能吗? 开始前快速说明一下,我们将 把公司与人工智能系统进行比较。而当你考虑到 公司实际上使用人工智能系统时, 这就变得复杂得多。所以为了 简单起见,我们将假设 公司不使用人工智能系统,因为否则 问题会变得递归,而且不是那种酷的 方式。首先,公司是相关意义上的 智能体吗?我会说,是的,差不多。 我认为把公司视为智能体是相当有成效的。 它们似乎确实会做出决定 并在世界中采取行动, 以实现世界中的目标。但我认为 把公司视为智能体时,你会面临一个类似的问题, 就像你试图把人类视为智能体时一样。 在经济学中,通常 将人类建模为想要在某种意义上 最大化其金钱的智能体。你可以 以同样的方式对公司建模,而这 是 这很有用,但这是一种简化,因为 实际上人类想要的不只是钱。 虽然企业比个人更直接地 与利润最大化保持一致, 但事情并没有那么简单。 所以是的,我们可以把企业视为 智能体,但我们不能把其宣称的目标 完全等同于其实际目标。 稍后会详细讨论。所以企业 或多或少是智能体。它们是通用智能 智能体吗?再次,是的,我认为如此。我的意思是,企业 由人类组成,所以它们拥有与人类 相同的通用智能能力。 那么问题来了,它们是 超级智能吗?这就是事情变得 有趣的地方,因为答案可以说是。比如 SpaceX能够设计出比任何 人类工程师都更好的火箭。 火箭设计是一项认知任务,而SpaceX
HN 上的讨论
>我们现在已经有了。它叫做公司。我认为有很好的理由说,不,我们现在没有,而这些是它可能非常不同的一些方式。视频:为什么不直接把通用人工智能想象成一家公司?[VIDEO] — WhitneyLand, 2023-01
罗伯特·迈尔斯有一个很好的视频,关于“为什么不直接:把通用人工智能想象成一家公司?”[VIDEO] 如果你眯着眼看,它们有点像人工智能。但你需要眯多紧,这值得吗?在这个视频中,我们问:公司是人工通用超级智能吗? — HaukeHi, 2022-03
罗伯特·迈尔斯对“公司就是人工智能”的说法有一个有趣的回应:[VIDEO] 概括来说:是的,公司作为代理运作,但其最大表现受限于员工的能力。公司人工智能可能比任何单个人拥有更广泛的技能,并能处理许多并发任务,但作为一个“智能代理”,其决策能力可能不会随员工人数呈指数级(甚至线性)增长。从某种意义上说,公司的最大智能可能与最聪明的人类处于同一水平,因此不能被视为真正的超级智能。 — jengleton, 2020-07
我赞同他们的一个推荐:Robert Mile的YouTube频道专注于AI安全。他以非常有趣和易懂的方式呈现材料。例如,这个关于公司是否可以被视为一种超级智能的视频:[VIDEO] — stupidcar, 2020-06
其中,一位科幻作家编织了一个奇幻的故事,讲述末日论者如何根据奇幻的故事和情感做出决定,而不是实际阅读和回应他们提出的论点。讽刺如此明显,如果不是如此虚伪,甚至可能很有趣。这里有一些关于该主题的实际见解:[VIDEO] — Veedrac, 2020-02
相关视频
- AI 安全入门,重制版 · Robert Miles AI Safety · 18:04
- Facebook 的问题 · 2veritasium · 6:59
- Facebook 欺诈 · Veritasium · 8:59
- 2017 LLVM 开发者大会:“实现 Swift 泛型” · LLVM · 44:37
- 为什么 AI 会想做坏事?工具性趋同 · Robert Miles AI Safety · 10:35
- Nick Bostrom - 模拟论证(完整版) · Science, Technology & the Future · 23:28
- 不是你的问题。糟糕的门无处不在。 · Vox · 5:32
- 发生在马身上的事正在发生在我们身上 · CGP Grey · 15:00
- Veritasium:关于AI和学习,大家都搞错了什么——德里克·穆勒解释 · Perimeter Institute for Theoretical Physics · 1:15:10
- 智能与愚蠢:正交性论点 · Robert Miles AI Safety · 13:02
- 我们正在构建一个反乌托邦,只为让人们点击广告 | Zeynep Tufekci · TED · 22:55
- AGI的火花:GPT-4的早期实验 · Sebastien Bubeck · 48:32
- AI 困境 - 2023 年 3 月 9 日 · Center for Humane Technology · 1:07:31
- 杀戮机器人 · Stop Autonomous Weapons · 7:48
- 34C3 - 老兄,你毁了未来! · media.ccc.de · 57:58
- AI 安全是帕斯卡的赌注吗? · Robert Miles AI Safety · 13:41