让我们构建GPT分词器

Let's build the GPT Tokenizer

频道:Andrej Karpathy · 时长:2:13:34 · 发布:2024-02-20 · 播放:1272835

在 YouTube 观看

简介

安德烈·卡帕西从头构建GPT分词器,实现字节对编码以及编码和解码。他展示了LLM的许多奇怪行为如何追溯到分词,并在此过程中涵盖了Unicode字节编码。

HN 为什么推荐

被推荐为关于分词器的最佳深度解析,对于任何处理LLM的人来说,两小时是值得的。

如果你处理LLM,值得花2小时深入理解。 — HN, 2024

机器学习与深度学习 · 大语言模型与生成式 AI · 计算机视觉、语音与 NLP

中文字幕节选

大家好,在这个视频里,我想让我们来探讨一下大语言模型中的分词过程。 现在你们看到我表情严肃,那是因为呃, 分词是我在处理大语言模型时最不喜欢的部分,但 不幸的是,有必要了解一些细节,因为它相当 复杂棘手,有很多隐藏的陷阱需要注意,而且很多 大语言模型的怪异之处通常都可以追溯到分词。那么什么是 分词呢?在我之前的视频《从零构建GPT》中,呃,我们实际上 已经做了分词,但我们做的是一个非常朴素简单的分词版本,所以 当你打开那个视频的Google Colab时,呃,你会看到我们加载了我们的 训练集,我们的训练集是这个呃莎士比亚呃数据集。现在在 一开始,莎士比亚数据集在Python中只是一个大的字符串,就是文本, 所以问题是我们如何将文本输入到大语言模型中?在这个 例子中,我们创建了一个包含65个可能字符的词汇表,这些字符出现在这个 字符串中,这些是可能的字符,我们看到有65个,然后 我们创建了一个查找表,用于将每个可能的字符,一个 小的字符串片段,转换为一个标记,一个整数。所以这里例如,我们对 字符串“Hi there”进行了分词,我们得到了这个标记序列,这里我们取了数据集的 前1000个字符,我们将其编码为标记,因为这是 字符级别的,我们得到了一个包含1000个标记的序列,所以标记18 47等等。后来我们看到,我们将这些标记输入到语言 模型的方式是使用嵌入表,所以基本上如果我们有65个可能的 标记,那么这个嵌入表将有65行,粗略地说,我们 将每个单个标记关联的整数用作 这个表的查找,我们取出对应的行,这一行是 可训练的参数,我们将使用反向传播来训练, 这个向量然后输入到Transformer中,呃,这就是 Transformer感知每个标记的方式。所以这里我们有一个非常朴素的 分词过程,是一个字符级的分词器,但在实践中,在 最先进的语言模型中,人们使用更复杂的方案, 不幸的是,呃,来构建这些呃标记词汇表,所以我们不是 在字符级别处理,而是在块级别处理,这些呃字符 块的构建方式是使用算法,例如字节对 编码算法,我们将在本视频中详细深入探讨,呃,并涵盖 我想简要向你们展示介绍字节级编码作为 大语言模型上下文中分词机制的论文,我想说 那可能就是GPT-2论文,如果你向下滚动到这里到输入 表示部分,这是他们涵盖分词的地方,你希望 分词具有的各种属性,他们在这里得出结论,他们将 有一个分词器,其中词汇表有50,257个可能的 标记,上下文大小将是1,024个标记,所以在 Transformer神经网络的注意力层中,每个标记都关注 序列中之前的标记,它将看到最多1,024个标记,所以 标记是这种基本单位,呃,大语言模型的原子,如果你 愿意的话,一切都是标记的单位,一切都是关于标记和分词的, 分词是将字符串或文本转换为标记序列的过程,呃,反之 亦然。当你查看Llama 2论文时,我可以向你展示,当你搜索

HN 上的讨论

在观看了Andrej Karpathy制作的视频“让我们构建GPT分词器”([VIDEO])后,我终于理解了分词器的奇怪之处。他讲解了为什么我们需要它们而不是原始字节序列(太昂贵)以及字节对编码算法如何工作。如果你处理LLM,值得花2小时深入理解。 — cranium, 2024-10
Karpathy 的《Let's build the GPT Tokenizer》在前 20 分钟也包含了对 Unicode 字节编码、ASCII、UTF-8、UTF-16、UTF-32 的精彩介绍:[VIDEO] — vismit2000, 2025-09
Andrej Karpathy在这里深入探讨了分词的工作原理:[VIDEO] 简而言之,许多LLM使用字节对编码来创建token。你取一组文档,然后通过反复合并最常见的token对来形成token。初始token集是256个原始字节。文本通常以utf-8表示。我预计,尽管LLM可以通过(最终)注意到每个序列的最后一个字节来理解任意但干净偏移的Unicode码点,但它们在实际处理和完成这些码点时会明显更差,因为它们不会被缩减为正常的token集。然而,如果文本实际上被干净地转换输出,无论是在内部思考token中还是在响应开头,它们应该没问题。理解分词出奇地有用,即使那个视频似乎长得离谱, devoted to such a tedious subject. 连Karpathy都不喜欢它! — zellyn, 2025-04
这只是分词的产物。模型从未被展示构成单词的字母,除非它们被明确拼写出来。它看到的是代表单词组的token。这有点像说一个人不聪明,因为他们无法回答你用超声波波长问的问题。如果你想了解更多,这个视频是一个很好的资源:[VIDEO] — Chirono, 2024-08
ChatGPT在这类任务上特别差,因为分词的原因。如果你把你的查询输入到[LINK],你会看到“egregious”是一个单独的token,所以LLM实际上看不到任何“e”字符——要回答你的问题,它必须从训练数据中学习关于这个词如何拼写的事实,而我想明确讨论单词拼写的文本并不常见。如果这还不明白,这里有很好的解释:[LINK],或者如果你有2小时时间深入,可以看看Andrej Karpathy的最新视频:[VIDEO] 在我看来,关于拼写或数字感的问题作为陷阱已经相当老套了,因为它们基本上都只是这个实现细节的产物。还有其他没有这个问题的语言模型可用。顺便说一句,这也是DALL-E等在图像中生成文本很糟糕的原因。 — moozilla, 2024-03

相关视频