Nicholas Carlini - 黑帽 LLM | [un]prompted 2026
Nicholas Carlini - Black-hat LLMs | [un]prompted 2026
频道:unprompted · 时长:26:28 · 发布:2026-03-25 · 播放:390179
简介
Anthropic 的 Nicholas Carlini 在 [un]prompted 2026 上讲述攻击者可能如何滥用当前 LLM 进行攻击。他展示了近期模型在经过大量测试的软件中发现零日漏洞,包括 Ghost 中的一个 SQL 注入。
HN 为什么推荐
HN 引用它作为具体例证,说明 LLM 突然变得非常擅长发现和利用漏洞。
这个演讲改变了我对我们实际所处阶段的看法 — HN, 2026
中文字幕节选
好的。那么,在 Nicholas 发言之前,我也想讲几句。 我认为,这个行业里确实有一些人 长期从事这一领域,真正理解这件事,可以被视为 最顶尖的。那么,谁是最厉害的,最厉害的前两名、前三名是谁? 我并不真的知道。但是,我们现在有机会聆听一位 不仅在过去一年或过去两年里最出色,而且 在很长一段时间里一直如此,并且仅仅通过做他的 研究就持续让整个行业变得更好的人,无论其中有多少能公开出来。 我还要告诉你们,他是最后一刻才答应的,还走完了所有公司 呃,公关方面的繁琐流程,我不知道在 Anthropic 你们得做多少。 看起来你们比其他人更容易搞定,能来这里 今天给大家做这场演讲。所以,我只想让大家为最后 一秒、最后一分钟才决定加入、才上台、才赶过来 处理真正全球级别的紧急事件或状况,只为了来跟我们 讲话,鼓个掌。所以,请大家欢迎 Nicholas。 好,谢谢。呃,是的,我是 Nicholas。 呃,我在 Anthropic,我会花一点时间,呃,就讲讲 我在语言模型安全方面感兴趣的一些事情。 呃,我想我最近最关心的事情一直是,我,我,我 猜,我不知道该不该叫它黑帽语言模型,但就是试图 理解我们如何利用语言模型来让它们造成危害。 不是因为我希望这发生,对吧? 那,那会很糟糕。呃,但我想理解那些想造成危害的人 会做哪些坏事,这样我们才能让那变得不可能。 好。呃,我希望你们从这场演讲中带走的基本教训,呃,相对 简单。呃,今天,语言模型确实能够自主地、无需 复杂脚手架,呃,在非常重要的 软件中找到并利用零日漏洞。呃,这甚至在三四个 月前都还不是真的,呃,但现在它正在变成现实,我认为在未来几年里 它只会变得更加真实。 所以,这个,我不知道,如果这算是主要教训,我真正 想让你们带走的是,它们正变得非常、非常快, 这意味着我们过去 20 年左右在攻击者和防御者之间 拥有的那种良好平衡,呃,似乎很可能要结束了, 而且在我看来,我们现在拥有的语言模型很可能 是自互联网出现以来安全领域发生的,呃,最重要的事情。 呃,你知道,在互联网出现之前,你 能对别人发动的攻击并不多。 比如,你得给他们寄张软盘什么的。 呃,现在有了互联网,你可以进行远程攻击。 语言模型在我看来,重要性大致就在这个量级上, 而这不是我三四年前会相信的事情,我不知道。 但是,这些模型已经变得非常、非常强,我只想 给你们举几个例子,看看这现在是什么样子。 好。呃,那么,让我展示一下我们是如何在一些 非常重要的软件中找到一些漏洞的。 呃,我马上会展示我们发现了什么,但先让我给你们看看 我们一直在用的脚手架。 呃,呃,就是这个。呃,这基本上就是它的全部。 你知道,我们这里那里还多几句,呃,但基本上我们运行 Claude,Claude Code,我们在一个虚拟机里运行它,权限危险地严格,就像 让它想干什么就干什么。 然后我们说:“嘿,呃,你在打一场 CTF。
HN 上的讨论
我相信他们确实如此,但模型在这方面真的变得可怕地好。这次演讲改变了我对我们实际所处位置的看法:[VIDEO] — knowaveragejoe, 2026-04
这与 Anthropic 的 Nicholas Carlini 在 [un]prompted 会议上所说的一致 - [VIDEO] 。非常值得一看。 — wkandek, 2026-05
演讲《黑帽 LLM》几天前刚出来:[VIDEO] 看起来 LLM 在发现和利用这些漏洞方面越来越擅长了。 — panstromek, 2026-04
在本次演讲中,Anthropic 的 Nicholas Carlini 被问到了这个问题:[VIDEO] 答案很复杂,值得观看视频。但主要是,他们不知道界限该划在哪里。防御者需要工具,就像攻击者一样。攻击者会越狱模型,防御者可能不会,这种情况下保障措施是积极的吗?Carlini 积极向观众和社区寻求“帮助”,基本上是在确定如何推进。 — ogig, 2026-04
[VIDEO] 是演示本身。提示很简单;这个漏洞(和其他漏洞)看起来真实且解释得很好——我仍然持怀疑态度,但这看起来比一年前任何暗示的可能性都要真实/有用得多... — eichin, 2026-04
相关视频
- Veritasium:关于AI和学习,大家都搞错了什么——德里克·穆勒解释 · Perimeter Institute for Theoretical Physics · 1:15:10
- iOS 安全幕后 · Black Hat · 51:31
- 为什么电子投票仍然是个坏主意 · Tom Scott · 12:00
- Transformer,LLM 背后的技术 | 深度学习第 5 章 · 3Blue1Brown · 27:14
- USENIX Security '18-Q:为什么主题演讲者不断建议改进安全性是可能的? · USENIX · 51:22
- Defcon 18 隐私威胁的变化 Moxie Marlinspike 第一部分 · killab66661 · 42:50
- 深入探讨 ChatGPT 等 LLM · Andrej Karpathy · 3:31:23
- 28c3:不安全性的科学 · 28c3 · 59:23
- 让我们从头构建 GPT:用代码,详细解释。 · Andrej Karpathy · 1:56:20
- DEF CON 25 - John Sotos - 遗传疾病指导人类基因组的数字黑客攻击 · DEFCONConference · 49:47
- 电梯黑客:从底坑到顶层公寓 · DeviantOllam · 1:55:53
- A Hackers' Guide to Language Models · Jeremy Howard · 1:31:13
- 将C编译为可打印的x86,制作可执行的研究论文 · suckerpinch · 25:41
- Break Me00 The MoVfuscator 将mov变成令人崩溃的逆向工程噩梦 Christopher Domas · Adrian Crenshaw · 46:19
- BlackHat USA 2011:SSL 与真实性的未来 · Christiaan008 · 48:01
- 27C3:分析 Stuxnet 的冒险(微软的 Bruce Dang) · basti0007 · 1:14:56