CS480/680 第19讲:注意力与Transformer网络

CS480/680 Lecture 19: Attention and Transformer Networks

频道:Pascal Poupart · 时长:1:22:38 · 发布:2019-07-16 · 播放:373946

在 YouTube 观看

简介

Pascal Poupart的CS480/680大学讲座,讲解注意力机制和Transformer网络,在黑板上逐步推导。

HN 为什么推荐

HN推荐给新手作为对注意力的清晰解释,包括查询/键/值的直觉理解。

我也推荐Pascal Poupart关于注意力和Transformer的演讲[1]。 — HN, 2023

机器学习与深度学习 · 大语言模型与生成式 AI · 大学讲座与课程

中文字幕节选

好,接下来这组幻灯片我要更详细地讲一下注意力机制 我们已经在机器翻译的背景下讨论过注意力了,但 注意力已经催生了一类新的神经网络,叫做 Transformer 网络。好,我今天要讲的这些内容 其实相当新,所以这门课相关的教科书里 都没有描述。关于这个,有一篇2017年发表的论文 叫《Attention Is All You Need》。好,这个标题很有意思, 它实际上暗示我们可能不再需要循环神经网络了, 然后人们设计的很多构建模块,比如 LSTM 单元、GRU 以及其他类似的东西,这基本上是在说 我们不需要它们了,我们真正需要的只是注意力。好,那我们来看看这 是怎么工作的。好,事实证明注意力的概念 最早是在计算机视觉的背景下被研究的, 假设我们有一些图像,我们要识别一些物体,那么作为 人类,假设我们有一张大图,然后我们在找一个小物体, 那么我们眼睛自然会做的是大致扫描图像, 最终聚焦到某些感兴趣的区域,然后最终 识别出物体,当我们识别出一个物体时,我们最终会 精确地聚焦到物体所在的位置,然后一些研究表明 当我们做这种识别时,我们的眼睛确实 聚焦在正确的区域。所以这里一个有趣的问题是, 计算机视觉中是否有类似的机制,那会不会有好处? 答案是肯定的。假设我们有一张图像,好,这张图像 在我笔记本电脑的屏幕上显示得不太好,实际上看起来更好, 基本上你应该看到某个场景,这里有一栋房子和一座塔, 所以基本上有两栋建筑,然后周围是场景的其余部分, 假设我们在做物体检测,想要识别 建筑物,那么这里展示的是叠加在图像上的热力图, 所以实际场景中你并不会看到它,但无论如何这张热力图 显示了建筑物更可能出现的像素或区域 就在这里的红色部分,如果你更仔细地看, 这里确实有一栋房子,这里有一座塔。好, 现在如果你训练某个网络做 分类,一个有趣的问题是当网络输出一个类别时, 我们怎么能相信它给出的是正确的类别?你知道我们可以问它, 如果你告诉我这张图像里确实有一栋建筑,你能告诉我那栋 建筑在哪里吗?这至少是一种很好的验证方式, 理解它认为图像中什么是建筑,以及它是否 正确。所以这里我们可以用注意力来 看哪些像素与建筑这个概念 对齐,然后这张热力图对应的是注意力机制的 权重。所以在这种情况下,你可以想象有一个注意力机制 作用于整张图像,所以你有针对所有像素的权重, 然后你试着看哪些像素 具有某种语义含义或某种嵌入,基本上 与我们试图识别的物体概念对齐,然后 一些研究者证明了你可以做到这一点,事实上这里注意力可以 用来突出图像中对期望输出有贡献的重要 部分,所以它在解释决策过程方面非常好, 它也可以作为识别过程的一部分 作为构建模块。好,这是计算机视觉中的情况,然后在自然 语言处理中,2015年我们看到了关于机器翻译的工作,你可以 让解码器基本上窥视或回看 输入句子是什么,这样它就不会丢失正在翻译的内容,

HN 上的讨论

让我理解注意力机制的是Sebastian Raschka的视频[LINK]。另一个关于注意力的好视频,试图对查询/键/值的东西给出更多直觉的是[VIDEO]。事后看来,对我帮助最大的是理解注意力计算每一步的维度(Raschka的视频中解释得很好)。另一个我从原始Transformer论文中没搞懂的事情是,自注意力的学习发生在 线性层中。(至少,这是我目前的理解。如果错了,感谢任何纠正 :) — metanonsense, 2023-06
这可能过于简化了,但归根结底,它归结为某种特殊的查找表,你给它一个“查询”和一堆“键”,而“值”就是最可能的下一个词。当你向网络输入一些东西时,会查询一个由这些表组成的网络,然后给你最可能的下一个词。这篇论文的新颖之处在于这种“查询-键-值”关系是学习得到的。之前在这个领域的很多工作都集中在学习一个粗略的状态机,你输入一组状态转换,它会给你最可能的下一个状态。这也能工作,但训练这样的网络非常慢,而且你也没有能力训练网络去“关注”输入的某些部分。这种基于查找的技术让你可以做到这一点,而且(与之前的技术相比)计算效率也很高。我遗漏了很多细节,但基本上这就是背后的直觉。这些是非常优秀的资源: - [LINK] - [VIDEO] — elankart, 2023-05
我也会推荐 Pascal Poupart 关于注意力和 Transformer 的演讲 [1]。似乎不常被引用,但做得相当好,看到他用粉笔和黑板推导一些细节非常令人安心。[1] [VIDEO] — abhgh, 2023-04
> 我对AI/ML一无所知 这可能让解释变得困难,而且我已经在这里看到许多不正确的解释,甚至更多是懒惰的解释(为什么要贴第一个谷歌搜索结果?你只是在增加噪音) > Steve Yegge在Medium上认为Transformer背后的团队应该获得诺贝尔奖 首先,Yegge需要能够告诉我什么是Attention和Transformer。更重要的是,他需要告诉我谁发明了它们。这实际上触及了我们的重点,以及为什么这里和其他地方有这么多糟糕的答案。因为你们都缺少很多背景,而且定义模糊。这也是为什么很难用简单的话解释。我会尝试,然后尝试给你一些资源来获得真正好的答案。 == 糟糕的答案(简单解释) == Transformer是一种算法,它考虑数据所有部分之间的关系。它通过4种机制和两部分来实现。第一部分由归一化块和注意力块组成。归一化块对数据进行缩放,确保数据不会太大。然后注意力机制接收交给它的… — godelski, 2023-05

相关视频