Transformer 中的注意力机制,逐步讲解 | 深度学习第六章

Attention in transformers, step-by-step | Deep Learning Chapter 6

频道:3Blue1Brown · 时长:26:09 · 发布:2024-04-07 · 播放:4966758

在 YouTube 观看

简介

3Blue1Brown 对 Transformer 内部注意力机制的可视化讲解,涵盖自注意力、多头注意力和交叉注意力。这是其深度学习系列的第六章。

HN 为什么推荐

HN 将其视为注意力机制的首选可视化解释,推荐给那些觉得基于文本的 Transformer 解释难以理解的人。

最终让我理解 Transformer 架构 [0] 和注意力机制 [1] 的,是 3Blue1Brown 的视频。 — HN, 2024

机器学习与深度学习 · 大语言模型与生成式 AI

中文字幕节选

在上一章中,你和我开始逐步 探索Transformer的内部工作原理。 这是大型语言模型中的关键技术之一, 也是现代AI浪潮中许多其他工具的核心。 它首次出现在2017年一篇如今著名的论文《Attention is All You Need》中, 在本章中,你和我将深入探讨这个注意力机制是什么, 可视化它如何处理数据。 快速回顾一下,这是我希望你记住的重要背景。 你和我正在研究的模型的目标是 接收一段文本并预测下一个词是什么。 输入文本被分解成我们称为token的小块, 这些通常是单词或单词片段, 但为了让本视频中的例子更容易让你我理解, 我们简化一下,假设token总是单词。 Transformer的第一步是将每个token 与一个高维向量关联,我们称之为嵌入。 我希望你记住的最重要想法是,在这个 所有可能嵌入的高维空间中,方向如何对应语义 含义。 在上一章中,我们看到了一个方向如何对应性别的例子, 在这个空间中添加某一步可以将你从 阳性名词的嵌入带到相应阴性名词的嵌入。 这只是一个例子,你可以想象这个 高维空间中有多少其他方向可以对应 单词含义的许多其他方面。 Transformer的目标是逐步调整这些嵌入, 使它们不仅仅编码单个单词, 而是融入更丰富得多的上下文含义。 我应该事先说明,很多人觉得注意力机制, 这个Transformer中的关键部分,非常令人困惑, 所以如果花些时间才能理解,不要担心。 我认为在我们深入计算细节和所有 矩阵乘法之前,值得思考几个 我们希望注意力能够实现的典型行为例子。 考虑短语American shrew mole、one mole of carbon dioxide, 和take a biopsy of the mole。 你我都知道单词mole在每个短语中有不同的含义, 取决于上下文。 但在Transformer的第一步之后,也就是分解文本 并将每个token与向量关联的那一步,与 mole关联的向量在所有情况下都是相同的, 因为这个初始token嵌入实际上是一个查找表,没有 参考上下文。 只有在Transformer的下一步中,周围的 嵌入才有机会将信息传递到这个嵌入中。 你可能想到的画面是,在这个嵌入空间中有多个不同的方向 编码单词mole的多个不同含义, 而一个训练良好的注意力块 根据上下文计算出你需要向通用 嵌入中添加什么,以将其移动到这些特定 方向之一。 再举一个例子,考虑单词tower的嵌入。 这大概是空间中某个非常通用、非特定的方向, 与许多其他大型、高大的名词相关联。 如果这个单词前面紧跟着Eiffel, 你可以想象希望机制更新这个向量,使其 指向一个更具体地编码Eiffel tower的方向, 可能与与 Paris和France以及钢铁制品相关的向量相关联。 如果它前面还有单词miniature, 那么该向量应进一步更新,

HN 上的讨论

因为它完全不像你想的那样工作。你仍然认为它像思维链那样工作。它不是。而区别是关键!它通过引入概率噪声,并并行地(全部压缩)完整探索 N 条路径(每条都带噪声)来工作。它是在一个比通过昂贵的大型模型(确定性)运行所有内容并偶尔发现它说“我认为 1.12 大于 1.9,因为 12 比 9 大,最终答案”要小得多的(概率性)层面上进行推理。最简单的理解方式是:如果你理解超词(hyper words)是如何工作的,就好像它在搜索超词的不同版本,这些版本如果被喂给 LLM,概率上会带来更好的结果——甚至在它真正这样做之前。这并不完全是它的实际工作方式。但我认为这已经足够接近,有助于理解收益在哪里、正在发生什么(搜索路径)的粗略概念,以及它如何可能带来巨大的数量级改进(在不支付通过昂贵且庞大的模型探索路径的全部代价的情况下做到这一点)。还有为什么确定它“在想什么”要困难得多。如果你不熟悉超词,这是一… — onlyrealcuzzo, 2026-05
这很好,但最终让我理解 transformer 架构 [0] 和注意力机制 [1] 的是 3Blue1Brown 的视频。0. [LINK] 1. [VIDEO] — tomashm, 2024-07
如果你想要真正的数学而不是空谈,我推荐:[LINK] 如果想要更温和的入门,3Blue1Brown:[VIDEO](这是一个系列的一部分) — wren6991, 2026-06
> 当 LLM 告诉我们太阳从东边升起时,并不是因为它真正理解了天文学或太阳系。相反,它在训练数据中看到“太阳从东边升起”这个短语被重复了太多次,以至于这成为了概率最高的答案。这与其说是理解,不如说是模式识别。这与大多数人在基础教育中的经历并无太大不同([LINK])。尽管人类显然能做的远不止这些。而且,虽然“投票”对于多层感知机层来说可能是一个足够接近的比喻,但这并不是注意力层中发生的事情。我建议看看 3blue1brown 关于梯度下降的视频 [LINK] 和“LLM 如何存储事实” [LINK],以及注意力机制如何工作 [VIDEO] — superkuh, 2024-10
还有很多更好的资源。1/ 带注释的 Transformer《Attention is All You Need》[LINK] 2/ 从零实现 Transformers [LINK] 3/ Andrej Karpathy 有一系列非常好的入门视频:[LINK] 让我们从零开始,用代码一步步构建 GPT。[LINK] 与 Andrej Karpathy 一起学 GPT:第 1 部分 [LINK] 4/ 3Blue1Brown:但什么是 GPT?Transformer 的视觉入门 | 第 5 章,深度学习 [LINK] Transformer 中的注意力机制,视觉化解释 | 第 6 章,深度学习 [VIDEO] 完整的 3Blue1Brown 神经网络播放列表 [LINK] — MAXPOOL, 2024-07

相关视频