Daniel Suarez:杀人决定不应属于机器人
Daniel Suarez: The kill decision shouldn't belong to a robot
频道:TED · 时长:13:20 · 发布:2013-06-13 · 播放:78160
简介
小说家 Daniel Suarez 在 TED 演讲中警告自主机器人武器和无人机的危险。他认为将杀人决定从人类手中夺走会威胁民主问责制,并呼吁禁止。
HN 为什么推荐
在 AI 和无人机讨论中反复被推荐,作为对自动化武器危险的简洁陈述。
我经常推荐 Daniel Suarez 精彩的 Kill Decision 演讲和书 — HN, 2025
AI 安全、AGI 与影响 · 机器人 · 军事历史与战争
中文字幕节选
译者:Joseph Geni 审校:Morton Bast 我写科幻惊悚小说,所以如果我说“杀手机器人”, 你可能会想到这样的东西。 但我今天其实不是来谈小说的。 我是来谈非常真实的杀手机器人——自主作战无人机。 我这里指的不是“捕食者”和“收割者”无人机, 那些无人机由人类做出瞄准决策。 我说的是完全自主的机器人武器, 它们能完全自行对人类做出致命决策。 这其实有个技术术语:致命自主性。 具有致命自主性的杀手机器人会有多种形态——飞行、驾驶, 或者只是潜伏等待。而且,它们正迅速成为现实。 这是两个自动狙击站, 目前部署在朝鲜和韩国之间的非军事区。 这两台机器都能自动 识别人类目标并向其开火, 左边那台能在超过一公里的距离上做到。 目前,这两种情况下仍然有一个人在回路中 做出致命的开火决策, 但这并非技术上的必需。这是一种选择。 而我想聚焦的正是这种选择, 因为当我们将致命决策从人类转移到软件时, 我们不仅冒着将人性从战争中剥离的风险, 还可能彻底改变我们的社会格局,而且远在战场之外。 这是因为人类解决冲突的方式塑造了我们的社会格局。 纵观历史,情况一直如此。 例如,这些是公元1400年最先进的武器系统。 建造和维护它们都非常昂贵, 但有了这些,你就能统治民众, 封建社会政治权力的分配也反映了这一点。 权力集中在最顶层。 那什么改变了?技术创新。 火药、大炮。很快,盔甲和城堡就过时了, 你带谁上战场变得不那么重要, 重要的是你带多少人上战场。 随着军队规模扩大,民族国家作为防御的政治和后勤需求 应运而生。 随着领导人不得不依赖更多民众,他们开始分享权力。 代议制政府开始形成。 所以,我们用来解决冲突的工具再次塑造了我们的社会格局。 自主机器人武器就是这样一种工具, 只不过,由于它只需要极少数人参战, 它有可能将权力重新集中到极少数人手中, 可能逆转五个世纪以来走向民主的趋势。 我认为,知道了这一点, 我们就能采取决定性步骤来保护我们的民主制度, 做人类最擅长的事,那就是适应。 但时间是个因素。七十个国家正在开发自己的 遥控作战无人机,而正如你将看到的,遥控作战无人机 正是自主机器人武器的前身。 这是因为一旦你部署了遥控无人机, 就有三个强大的因素推动决策 从人类转向武器平台本身。 第一个因素是无人机产生的海量视频。 例如,2004年,美国无人机机队总共产生了 71小时的视频监控供分析。 到2011年,这一数字上升到30万小时, 超出了人类全部审阅的能力, 但即便是这个数字也即将急剧上升。 五角大楼的“戈尔贡之眼”和“阿格斯”项目 将在每个无人机平台上安装多达65个独立操作的摄像头眼睛, 这将远远超出人类审查的能力。 这意味着视觉智能软件将需要 扫描其中的感兴趣项目。 这意味着很快无人机将告诉人类该看什么, 而不是反过来。 但还有第二个强大的激励推动 决策从人类转向机器,
HN 上的讨论
那里可能有一个滑坡谬误(我希望如此)。如果对自动化武器的(不那么)科幻方面及其后果感兴趣,我经常推荐 Daniel Suarez 精彩的 Kill Decision 演讲和书:[VIDEO] — jameslk, 2025-08
当你看到政府已经在考虑基于算法杀人时,你开始理解马斯克将 AI 称为我们正在召唤的“恶魔”:[LINK] 然而,现在我更害怕政府“释放”自主杀人机器人,而不是像天网那样的自我意识杀人机器人(这可能正是马斯克所想的)。对于被自主杀人机器人导弹击中的人来说,差别不大。他们已经在生活在“终结者式”的未来中,必须“对抗机器”。Daniel Suarez 的相关演讲:[VIDEO] — higherpurpose, 2014-10
如果他们让无人机自主化,情况只会变得更糟,这个 TED 演讲表明他们有很多理由想要让无人机自主化,除非有大规模的公众抗议要求禁止:[VIDEO] — salient, 2013-12
Jacob Appelbaum 已经说了一段时间了。他们利用 NSA 的数据进行“签名打击”,即可能仅根据他们掌握的“无害元数据”来暗杀某人。和可能和“恐怖组织”的某人谈过话?那么,你现在可能就在无人机目标名单上。随着他们转向自动化无人机暗杀,情况将呈指数级恶化,他们只是创建一个“算法”来决定下一个谁死。这将是他们的下一个逻辑结论,对他们来说这是“不可避免的”。当然,这也会秘密进行,可能多年后才有泄露。根据他们的算法在确定谁是美国人谁不是方面的“准确性”(只有 51% 的概率,几乎就像抛硬币决定某人是否是美国人),我想这个决定杀谁的算法也会很宽松。宁可安全并杀死更多无辜者,也不愿遗憾地不杀死正确目标,这就是他们将为该算法选择的。你可以说现在的杀戮规则已经很宽松,但杀戮本身是手动进行的,而且他们能雇佣的人数有限。一旦自动化,预计暗杀数量将增加一个数量级,因为这将“太容易”,而且发射无人机在… — higherpurpose, 2014-02
可能发生的是我最近听到的所谓“道德末日”[1],即技术发展如此之快,但我们不会正确使用它,可能就像美国第一次对日本使用原子弹时那样。那时,原子弹的发现远远超越了我们的道德,我们花了几十年时间才让道德赶上技术,并理解国家不能相互使用原子弹。我担心当我们开始使用自主杀人机器人[2](无论是无人机,还是真正的终结者式机器人),或者当我们学会制造可以匿名暗杀世界上任何人的蚊子大小的杀人无人机,或者当我们学会将纳米技术用作武器时,同样的事情会发生。我认为 NSA 对全球进行大规模监控“只是因为他们能”,也属于这一类。我欢迎所有此类中立的技术进步,因为我不是卢德分子,但我也担心我们渴望更多权力或保护其权力和影响力的政府会恶意使用这些技术,很可能在我们发现之前很久就秘密进行。即使它们被公开,我担心大多数人会过于自满,不会对此进行太多反抗(美国仍然关着关塔那摩,多少年了?这不是技术问题,但同样的道理适用… — higherpurpose, 2014-01
相关视频
- 企业销售 | Startup School · Y Combinator · 23:07
- 纸箱改革 - 尼克松的幽灵法案与民主的关键缺陷 · CRI · 1:02:37
- NSA 的 ORCHESTRA 行动:年度状态报告 · HUP · 46:06
- 发生在马身上的事正在发生在我们身上 · CGP Grey · 15:00
- 机械计算机(全部部件)- 火控计算机的基本机构 · Excelsior10000 · 41:53
- 美国海军火控计算机基本机制 机械计算机教学影片 27794 · PeriscopeFilm · 19:42
- 秘密战争 · Sergio IQ · 4:55:45
- 这就是胜利的样子(完整版) · VICE · 1:29:10
- Tiedustelueverstin arvio Venäjästä | 3.12.2018 · fin_topsu · 1:00:22
- 为什么 AI 会想做坏事?工具性趋同 · Robert Miles AI Safety · 10:35
- Veritasium:关于AI和学习,大家都搞错了什么——德里克·穆勒解释 · Perimeter Institute for Theoretical Physics · 1:15:10
- 硅谷秘史 · Computer History Museum · 1:02:47
- David Fravor:UFO、外星人、战斗机与航空航天工程 | Lex Fridman 播客 #122 · Lex Fridman · 3:56:24
- 智能与愚蠢:正交性论点 · Robert Miles AI Safety · 13:02
- 1942 年中途岛海战:从日本视角讲述(1/3) · Montemayor · 41:46
- 我们正在构建一个反乌托邦,只为让人们点击广告 | Zeynep Tufekci · TED · 22:55