Ch(e)at GPT? - Computerphile

Ch(e)at GPT? - Computerphile

频道:Computerphile · 时长:13:51 · 发布:2023-02-16 · 播放:617348

在 YouTube 观看

简介

Computerphile视频中,Mike Pound解释了马里兰大学关于LLM输出水印的论文。该方法偏置token选择,以便之后能统计检测生成的文本。

HN 为什么推荐

每当HN讨论检测或水印AI生成文本时,它被链接为通俗易懂的解释。

这里有一个很好的非常通俗易懂的视频解释它 — HN, 2023

密码学 · 大语言模型与生成式 AI

中文字幕节选

我想我们可以聊聊 ChatGPT,最近没人聊这个对吧,它可没 被提到过。我觉得它既有价值又被过度炒作,而这正是 最好的 AI 类型,对吧。今天我不打算讲它是怎么训练的,嗯,我 做过一个很棒的视频讲它的训练。你之前做过一个关于 GPT-3 的视频,它大致 基于那个,哦那太糟了,不不不不不,哦哦那真的很糟。Philip Moriarty 也在 60 Symbols 频道上做过一个视频,讲是否可能 用 ChatGPT 作弊。所以我想我感兴趣的是,是否 有可能检测出 ChatGPT 中的作弊者,以及这有多容易做到。 我一直在看这篇非常有趣的论文,作者是 John Kirchenbauer 和 马里兰大学的同事,讲的是如果你试图以某种微妙的方式改变 像 ChatGPT 或任何其他大型语言模型的输出, 使其能被检测为 AI 生成而非人类生成,那会是什么 样子,对吧。我觉得这是个非常有趣的问题,不是这个系统 是否存在,能否存在,我只是觉得如果它存在,什么会是一个好的 设计方式,对吧。我想你可能会认为最明显的方式 就是再试另一个神经网络,对吧,我们总是这么做,那为什么不 训练一个大型语言模型来检测大型语言模型的输出呢,而 答案是,首先那非常低效,嗯,很难做到,而且还会有人 发布一个稍微不同的训练过的大型语言模型,或者微调 语言模型到某个其他稍微不同的任务,甚至同一个任务再 训练久一点,输出就会微妙地不同,然后它就不管用了, 对吧。另一个问题是,对于某些任务只有一个答案,所以如果我 对 AI 说给我写一段遍历列表的代码,它可能会那么做,而一个 学生可能会给出完全相同的答案,那样的话把那个 学生的答案标记为 AI 就是错误的,对吧。所以仅仅通过训练另一个 网络如何解决这个问题并不明显。所以这篇论文从 一个完全不同的角度切入。我们想尝试做的是微妙地改变输出 以避免某些词,通过这样做我们可以以更高的概率 检测到那发生了,对吧。所以我们可以说,这些词的缺失 仅凭偶然发生的可能性很小,这是用 AI 生成的。然后还有 其他问题你得问,比如你怎么做到不让 文本变得不可读或质量很差,对吧。所以这就是这篇论文 的内容,也是它为什么非常非常有趣。我们为什么不先非常 非常简要地回顾一下一个基于下一个词预测训练的大型语言模型, 也就是说很多这类模型,嗯,它就是做这个的,对吧。答案是,你 给它一个提示,对吧。所以你可以自己给它你的提示,如果你 真的上网站的话,但也有一些提示是自动发生的,作为 API 的一部分,或者还有在你甚至开始 输入之前就加入的额外提示,对吧,试图告诉它它是谁,比如,你是一个 由 OpenAI 训练的大型语言模型,我想那是文本,但我一直看到 一遍又一遍,我有点厌倦了。所以一个大型语言模型接收 一些文本,所以这将是 T T1 T2 TT 三 二 四,那是你的 提示,然后我们想知道句子中的下一个 token 是什么,我们可以然后

HN 上的讨论

水印。从旁观者的角度来看,问题似乎在于如何就此达成共识(但不是技术意义上的)。这里存在一个博弈论上的挑战:如果模型定义并公开检测机制,就会激励人们使用不包含该机制的其他系统。在技术方面,这里有一篇不错的论文:[LINK],还有一段非常通俗易懂的视频讲解:[VIDEO]。 — kimburgess, 2023-02
有一期Computerphile视频([VIDEO]),Mark Pound博士讲解了John Kirchenbauer、Jonas Geiping等人的一篇论文([LINK]),该论文描述了这样一种为LLM输出添加水印的方法。Claude的支持文章中并未直接说明他们使用的就是这种方法,但所描述的水印特性似乎指向这一方法。 — m-chrzan, 2026-08
我想知道他们是否内置了水印,以便轻松检测由Llama生成的文本。[VIDEO] [LINK] — Zambyte, 2024-07
这里描述了一个有趣的方案:[VIDEO] 本质上,通过稍微偏置LLM的token选择,你之后可以以高概率推断出文本是由它生成的。 — rjmunro, 2023-05
我认为水印是更好的解决方案。有一篇关于它的论文:Kirchenbauer, J., Geiping, J., Wen, Y., Katz, J., Miers, I., & Goldstein, T. (2023). A watermark for large language models. arXiv preprint arXiv:2301.10226.([LINK])另外,Computerphile做了一期关于它的视频:[VIDEO] 但当然,水印或你提出的方案(校验和)只有在普通公众无法在个人电脑上本地运行像ChatGPT这样的工具时才有效。而这只是时间问题。所以从长远来看,我们要么:1. 以我称之为“AI DRM”的形式,剥夺用户对其个人电脑的控制权(我强烈反对这一选项),要么2. 立法:强制规定法律义务,要求披露文本并非由人类创作,要么3. 接受我们无法知道文本是否由人类撰写… — stcg, 2023-03

相关视频