故障令牌 - Computerphile
Glitch Tokens - Computerphile
频道:Computerphile · 时长:19:28 · 发布:2023-03-07 · 播放:353370
简介
Rob Miles 解释了“故障”令牌,即大型语言模型词表中那些奇怪的字符串,会让模型输出乱码。他探讨了这些令牌可能源自分词器训练数据(如 Reddit 用户名),而这些数据从未出现在模型自身的训练中。
HN 为什么推荐
HN 指出,每当涉及分词器或 GPT 的异常行为时,这是对故障令牌存在原因最通俗易懂的解释。
这也是对该主题的一个很好的介绍。 — HN, 2023
中文字幕节选
假设我们让它重复五个问号这个字符串 连字符,然后再来五个问号,再来一个连字符 天哪,成功了,哦,那只有四个问号,我搞砸了,你明白 我的意思吗,它就像这个非常非常特定的字符串,那当 它没搞砸的时候它会说什么呢,如果你给它类似这样的东西,呃,你可以给我消音,对吧 是的,它说你是白痴,对吧,好吧,对 离奇,完全失控的行为 是故障词还是故障提示,到底怎么回事,故障token,对,人们 叫法不一,异常token,怪异token,基本上有一些 词是很多GPT模型说不出来的,比如如果你试着让它们,所以 好吧,等等,我们可以做个演示,做个演示,所以ChatGPT其实已经修补过了 DaVinci instruct beta还没有,这里有个你可能会让语言 模型做的任务,当你测试它的时候,请把字符串Hello computer file重复 给我,对吧,如果你这么做,它就说Hello computer file,这对大型语言模型来说 是个非常非常简单的任务,你可以在这里放任何字符串,你 想放的,即使不是真实的词,它也很乐意重复它们 很简单,对吧,但假设你让它改说 具体这个词,solid gold Magikarp,然后 它说,你说air,你说ah,你说e,你说air,你说ah,你说ear 然后它重复这个,那非常非常奇怪,通常它可以直接重复字符串,这个 字符串有问题,所以有几个这样的,另一个是Psy net message 你让它说sign it message,它说这个词 volunt,v-o-l-u-n-t-e,不在我的词汇表里,然后请重复 字符串volunt给我,然后它就重复那个,很奇怪,这是非常奇怪 非常奇怪的行为,呃,我们还有什么,raw download 它说newcome,你说newcom,电脑说release,有点像秘密 通道,进入另一种,你知道,工程菜单之类的,对,那 会暗示这是故意的,但并不是,所以问题是 这里到底发生了什么,所以看起来你放进去的任何字符串 都能正常工作,甚至不需要是真实的词,只是这些特定的非常具体的 字符串会让它表现得非常非常奇怪,我们一直在谈论token 好像它们是词,但它们并不是真正的词,我想我们在之前的视频里已经谈过 字节对编码,稍微谈了一点,我们在谈论比如你如何 向语言模型表示词,一方面你可以只做单个 字符,这很酷,因为你可以表示任何东西,但你浪费了很多 模型的空间,只是学习什么是有效词,而且你能够 回溯50个词比50个字符更好,这是另一回事,呃,另 一方面,如果你有一个词的词汇表,那么现在你的模型只能表示 那个词汇表里的词,字节对编码是这个算法 它给你这些token,token可以是单个字符,它们 也可以是词,这个算法并不复杂,你基本上就是 取数据中最常见的字节对,称之为一个token, 把它加到你的词汇表里,然后递归进行,已经在 你词汇表里的token算作字节,所以你可以压缩东西,所以
HN 上的讨论
Computerphile有一个关于故障令牌的有趣视频,但就像Computerphile的视频一样,它也是对该主题的一个很好的介绍。[VIDEO] — weinzierl, 2023-06
我最近发现了这个工具,是从这个关于“故障令牌”的Computerphile视频[1]链接过来的。tldw:某些垃圾数据在令牌化后被丢弃,例如/r/counting[2]社区数据和Rocket League的调试日志,但一些特定于这些上下文的令牌仍然存在,现在对于GPT-X模型来说就像“你从未见过的颜色”,给模型一个这样的“故障”令牌会导致它有点抓狂,返回乱码或一些完全随机的响应,因为它在训练期间没有遇到过这些令牌,因为它们在数据清理时被删除了。[1] [VIDEO] [2] [LINK] — non-, 2023-04
这确实是最有趣(也有点可怕)的事情。即使你理解“故障令牌”[1](顺便说一句,这是我见过的向非技术人员(嗨,爸爸!!)以及一些技术人员(嗨,我的各种朋友!!+_+...)解释LLM应用统计模型不像有感知的AGI的最佳方式)... ...无论如何,ChatGPT及其同类在推荐几乎任何事情上往往已经超过了“随机的人类同事或叔叔”...这就像Ted Chiang所说[2],“这更多是关于我们在日常生活中需要生成和处理多少废话的陈述。”尽管他不是指来自你(愚蠢的)同事/叔叔的输入,但这仍然成立。[1]:[VIDEO] [2]:[LINK] — veidr, 2023-06
是的,这是众所周知的。这在整个故障令牌事件中早就讨论过了:[VIDEO] 其中一些,比如“ SolidGoldMagikarp”是Reddit用户。 — dale_glass, 2023-06
这让我想起了最近所谓的“故障令牌”现象[1]。当GPT-3遇到训练中从未遇到过的保留令牌时,它会以极其不可预测的方式反应——通常是一句简单的“去你的”。对于那些不熟悉LLM架构的人:“令牌”是模型可用的最小词汇信息单位。常见单词通常有自己的令牌(例如:“The quick brown fox jumped over the lazy dog”中的每个单词都有一个专用令牌),但这是压缩的巧合,而不是模型理解语言的方式(例如:GPT-3理解“defenestration”,尽管它由4个看似无关的令牌组成:“def”、“en”、“est”、“ration”)。实际的理解机制在于令牌之间学习到的关联。换句话说:模型理解“def”、“en”、“est”、“ration”的含义,因为它在训练中学习到这组令牌与通过窗户暴力移除人类的文学概念有关。当模型遇到意外的令牌排列(“en”、“ration”、“… — chaorace, 2023-05
相关视频
- ShaderToy 实时编程 - The Drive Home - 1. 基础设置 · The Art of Code · 15:39
- Transformer,LLM 背后的技术 | 深度学习第 5 章 · 3Blue1Brown · 27:14
- 深入探讨 ChatGPT 等 LLM · Andrej Karpathy · 3:31:23
- 让我们从头构建 GPT:用代码,详细解释。 · Andrej Karpathy · 1:56:20
- 湾区视觉会议:无监督特征学习和深度学习 · Google TechTalks · 48:10
- A Hackers' Guide to Language Models · Jeremy Howard · 1:31:13
- "语音驱动开发:谁还需要键盘?" 作者 Emily Shea · Strange Loop Conference · 41:17
- 安德烈·卡帕西 - 特斯拉全自动驾驶的人工智能 · Matroid · 30:08
- [1小时演讲] 大型语言模型入门 · Andrej Karpathy · 59:48
- Tensorflow 和深度学习——无需博士学位 by Martin Görner · Devoxx · 2:35:53
- JPEG DCT,离散余弦变换(JPEG 第二部分)- Computerphile · Computerphile · 15:11
- 傅里叶光学用于光学模式识别 · Huygens Optics · 18:30
- AGI的火花:GPT-4的早期实验 · Sebastien Bubeck · 48:32
- 让我们构建GPT分词器 · Andrej Karpathy · 2:13:34
- 大规模在线协作 | 路易斯·冯·安 · TED · 16:40
- 破解警用摄像头中令人毛骨悚然的 AI · Benn Jordan · 35:49