Transformer,LLM 背后的技术 | 深度学习第 5 章

Transformers, the tech behind LLMs | Deep Learning Chapter 5

频道:3Blue1Brown · 时长:27:14 · 发布:2024-04-01 · 播放:11724096

在 YouTube 观看

简介

3Blue1Brown 对 transformer 和 GPT 风格语言模型如何工作的可视化解释,追踪数据如何经过 token、嵌入和注意力。

HN 为什么推荐

HN 把它当作 transformer 的首选可视化入门,许多人说它终于让注意力和嵌入变得清晰易懂。

最终让我理解 transformer 架构 [0] 和注意力 [1] 的,是 3Blue1Brown 的视频。 — HN, 2024

机器学习与深度学习 · 大语言模型与生成式 AI

中文字幕节选

GPT 的首字母缩写代表生成式预训练 Transformer。 所以第一个词很直白,这些是生成新文本的机器人。 预训练指的是模型经历了一个学习过程, 从海量数据中学习,而前缀暗示还有 更多空间可以通过额外训练针对特定任务进行微调。 但最后一个词,那才是真正的关键部分。 Transformer 是一种特定的神经网络,一种机器学习模型, 它是当前人工智能热潮背后的核心发明。 我想在这个视频和后续章节中做的是,通过一个 视觉驱动的解释,说明 Transformer 内部实际发生了什么。 我们将跟随流经它的数据,一步一步地讲解。 你可以用 Transformer 构建许多不同种类的模型。 有些模型接收音频并生成文字记录。 这句话来自一个反向运行的模型, 仅从文本生成合成语音。 2022 年席卷全球的那些工具,比如 DALL-E 和 Midjourney, 它们接收文本描述并生成图像,都是基于 Transformer 的。 即使我无法让它完全理解 pi 生物应该是什么样子, 我仍然对这种东西竟然有可能实现感到震撼。 而谷歌在 2017 年推出的原始 Transformer 是为了 将文本从一种语言翻译成另一种语言这一特定用例而发明的。 但你我将会关注的变体,也就是那种 作为 ChatGPT 等工具基础的模型,将是一个 被训练来接收一段文本, 甚至可能伴随一些周围的图像或声音, 并预测段落中接下来会出现什么的模型。 这种预测采取概率分布的形式, 覆盖许多可能跟随其后的不同文本块。 乍一看,你可能会认为预测下一个词 感觉与生成新文本是非常不同的目标。 但一旦你有了这样的预测模型, 一个简单的尝试让它生成更长文本的方法, 就是给它一个初始片段作为起点, 让它从刚刚生成的分布中随机采样, 将该样本追加到文本中,然后再次运行整个过程, 基于所有新文本(包括它刚刚添加的内容)做出新的预测。 我不知道你怎么想,但这真的感觉不应该行得通。 例如,在这个动画中,我在笔记本电脑上运行 GPT-2,让它反复 预测并采样下一段文本,基于种子文本生成一个故事。 这个故事其实并没有那么合理。 但如果我换成调用 GPT-3 的 API,这是相同的基本模型, 只是大得多,突然间几乎神奇地我们确实得到了一个合理的故事, 一个甚至似乎推断出 pi 生物会生活在数学和 计算之地。这里这个反复预测和采样的过程本质上就是 当你与 ChatGPT 或任何其他大型语言模型交互时发生的事情, 你会看到它们一次 生成一个词。 事实上,我非常喜欢的一个功能是能够 看到它选择的每个新词的底层分布。 让我们从一个非常宏观的预览开始, 看看数据如何流经 Transformer。 我们将花更多时间来激发、解释和扩展 每个步骤的细节,但大致来说, 当这些聊天机器人生成一个给定的 词时,以下是底层发生的事情。 首先,输入被分解成许多小块。

HN 上的讨论

3 blue 1 brown 对 transformer(LLM 的核心)有一个很棒的视觉化介绍。这是第 5 章。如果你想了解更多关于神经网络和反向传播的背景知识,请从第 1 章开始。[VIDEO] — robrenaud, 2026-06
我真的推荐观看这个视频的这一部分。嵌入确实将大量“人类知识”编码到向量值及其相互关系中。[VIDEO] 这甚至开辟了一种更基于数据的语言学方法,其中它也被大量使用。 — gf000, 2026-01
我认为这个视频很好地解释了方向编码特征的主题:[VIDEO] 这是我强烈推荐的三个系列中的第一个。> 概念和维度之间不可能存在一对一的对应关系。我不确定这一点!一旦你进入非常高的维度,就有很多方向向量几乎完全相互垂直(意味着它们可以干净地编码一个特征)。也许它们甚至不需要完全垂直,点积只需要非常接近零。 — manmal, 2025-05
这很好,但最终让我理解 Transformer 架构 [0] 和注意力机制 [1] 的,是 3Blue1Brown 的视频。0. [VIDEO] 1. [LINK] — tomashm, 2024-07
3Blue1Brown有一个关于GPT的精彩视频,我强烈推荐,叫做“但什么是GPT?Transformer的视觉介绍”[1]。你需要有一些数学推理的背景,但不需要太多。他非常擅长画图来展示底层发生的数学变换。[1] [VIDEO] — Wilduck, 2024-05

相关视频