Attention Is All You Need

Attention Is All You Need

频道:Yannic Kilcher · 时长:27:06 · 发布:2017-11-28 · 播放:817445

在 YouTube 观看

简介

Yannic Kilcher 详细解读了 Attention Is All You Need 论文,该论文引入了 Transformer,一种完全基于注意力、没有循环或卷积的序列模型。他回顾了架构和论文的翻译结果。

HN 为什么推荐

HN 推荐它作为对 transformer 论文的易于理解、清晰的解读,适合有一定 AI 背景的人。

Yannic Kilcher 的解读相当不错。 — HN, 2023

机器学习与深度学习 · 大语言模型与生成式 AI

中文字幕节选

大家好,今天我们要看的是Google的《Attention Is All You Need》,先声明一下, 我不为Google工作,只是因为我们最近一直在看Google的论文,但 这只是一篇有趣的论文,我们来看看它到底是怎么回事,所以 基本上作者们说的是,我们应该摆脱 基本上就是洋葱式结构,所以 传统上你会怎么做,而这些作者特别感兴趣的是NLP 自然语言处理,所以传统上当你有一个语言任务时,比如 猫吃老鼠, 你想把它翻译成其他语言, 比如德语之类的,你会怎么做呢, 你会尝试把这个句子编码成一个表示,然后再解码 回来,所以不知怎么的,这个句子需要全部进入比如说 一个向量,然后这个向量需要以某种方式转换成目标 语言,所以这些传统上被称为序列到序列任务, 它们迄今为止都是用循环神经网络解决的,你可能知道 LSTM网络在这些任务中非常流行,RNN中基本上发生的是 你逐个遍历源句子,比如这里,你取 单词the,你用词向量编码它,如果你知道的话, 你把它变成一个向量,一个词向量,然后你用一个神经网络 把这个向量变成我们所说的隐藏状态,所以这个H 0是一个隐藏状态,然后你取第二个 标记cat,你再次取它的词向量,因为需要用 数字来表示它,所以你用词向量来做这个,你把它变成,你把它 通过同一个函数,所以这里就像是一个简单的编码器, 变成同一个函数,但这次这个隐藏状态也被插入 这里,所以词向量,实际上你可以认为有一个起始 状态,通常人们要么学习这个,要么就 用零初始化,它进入编码器函数,所以它总是 同一个函数,从之前的隐藏状态和当前的 词向量,编码器再次预测另一个隐藏状态h1,以此 类推,所以你取下一个标记,把它变成词向量,你把它通过这个 东西,编码器函数,当然这在 实际的LSTM中要复杂得多,这是背后的基本原理,所以你最终得到 H2,这里你会有H3、H4,最后一个隐藏状态H4, 你会以完全相同的方式使用它,你把它插入一个 解码器,解码器会输出一个单词D, 它还会输出下一个隐藏状态,所以H 5,比如说,我们继续列出 这些状态,这个H5会再次进入解码器,解码器会输出 比如concert,所以这就是你解码的方式,基本上这些是RNN,它们 做的是,如果你看上面这里,它们取一个输入,当前输入, 然后取最后一个隐藏状态,计算一个新的隐藏状态,在 解码器的情况下,它们取隐藏状态,然后取 之前的,通常是你输出的前一个单词,你也把它反馈给 解码器,它们会输出下一个单词,这说得通,所以你会猜测 隐藏状态编码了句子的意思,而你输出的最后一个单词, 你需要这个,因为也许为了语法,你知道你刚刚 输出了什么,所以下一个单词应该基于那个, 当然你不必完全这样做,但这就是 RNN所做的,所以注意力在这里是一种机制, 基本上是为了提高RNN的性能,所以注意力 会做的是,在这个特定情况下,如果我们看解码器 这里,如果它试图预测这个单词,比如cat,

HN 上的讨论

详细解释该论文的YouTube频道:[VIDEO] 以及后续跟进(ROME,编辑transformer架构):[LINK] 我觉得这个频道非常棒,能用足够简单的术语解释超级复杂的主题,适合有一定AI背景的人。 — bfung, 2023-01
Yannic Kilcher 的解读相当不错。[VIDEO] 我没法用五岁小孩能懂的方式解释,但我可以用初级开发者的水平来解释。太长不看版:Transformer 的工作原理基本上就是一个可微的查找表/哈希表。首先,你的输入被分词,然后(N)个 token(这构成了注意力帧)会根据 token 的身份和在注意力帧中的位置进行编码。接着有一个 NxN 矩阵被应用到你的注意力帧上,“执行查找查询”遍历注意力帧中的所有其他 token,因此每个 token 都获得了“上下文语义理解”,它同时考虑了注意力帧中的所有其他内容及其相对位置。GPT 令人印象深刻是因为 N 非常大,而且它有很多层。大的 N 意味着你可以潜在地访问更远的信息。每一层都提供了更多机会以分形过程总结和整合长距离信息。两个关键要点:- 可微哈希表 - 使用周期函数编码相对位置 注意:注意力帧中的 token 实际上是 K 维向… — throwawaymaths, 2023-05
为了便于理解,我推荐Yannic Kilcher对“Attention Is All You Need”的视频评论[VIDEO]。此后Yannic又制作了大约62个其他transformer论文评论。你可以找到常见的那些。[LINK] — visarga, 2021-12
每个人都有不同的方法。我喜欢论文的视频讲解。如果你也一样,对于理论部分,你可能会发现Yannic Kilcher的视频[0,1]很有帮助。在实现方面,最好的项目是[2],文档很好。另外spacy有transformer包[3](我个人没试过),所以如果你之前有spacy经验,可能更容易上手。[0] [VIDEO] [1] [LINK] [2] [LINK] [3] [LINK] — kanche, 2020-10
> 我喜欢这些对 LLM 的词汇沙拉式赞美——人们甚至有一半时间不知道自己在写什么,但确实很煽动!好吧,不管怎样,我用非 Python 语言实现过 Llama LLM(具体是 3 8-70b),所以我确实知道自己在说什么。我不是哈希表类比的首创者。我是从这里得到的:[VIDEO] 见鬼,生成的向量就叫 K/V,所以。是的,它就是哈希表。而一阶逻辑和智能的其他方面可以只是巧妙排列的查找表这个想法来自这里:[LINK] — throwawaymaths, 2025-05

相关视频