LSTM已死。Transformer万岁!
LSTM is dead. Long Live Transformers!
频道:Seattle Applied Deep Learning · 时长:28:48 · 发布:2019-12-03 · 播放:540928
简介
Leo Dirac解释了Transformer模型如何取代NLP中的LSTM。他介绍了从词袋模型到RNN和LSTM的背景,然后深入探讨了多头自注意力和位置编码的技术细节,并附有示例代码。
HN 为什么推荐
被推荐为清晰解释RNN的不足以及Transformer如何解决这些问题的内容。
获得了大量好评,并且年复一年地吸引人们观看 — HN, 2023
机器学习与深度学习 · 大语言模型与生成式 AI · 计算机视觉、语音与 NLP
中文字幕节选
好的,太棒了,感谢大家,嗯,今晚我要做第二个演讲 我并不是特别喜欢这样,我也不希望这种模式重复,但你们 知道,Andrew和我想启动这个系列,并且觉得 让我讲两次总比没有好,但我们会让更多 不同的人参与进来,如果你们中有谁想自己做个演讲,认识 你觉得可能合适的人,那就太好了,但我觉得一个对 从业者来说很重要的主题是自然语言处理中的一场真正的巨变 也就是,你知道,大约12个月前才出现的,但我觉得这是 该领域极其重要的进展,那就是 Transformer的崛起,所以这次演讲的大纲是先介绍一些 自然语言处理和序列建模的背景,然后谈谈LSTM 为什么它很棒很惊人但仍然不够好,然后进入Transformer 讨论它们如何工作以及为什么它们令人惊叹,所以关于自然 语言处理NLP的背景,我只谈NLP的一个子集,即 监督学习的部分,所以不是结构化预测或序列预测 而是你把文档作为输入,试图预测 关于它的一些相当直接的输出,比如这个文档是不是垃圾邮件, 所以这意味着你需要以某种方式把你的文档 表示为一个固定大小的向量,因为我不知道有任何线性代数 能处理可变维度的向量,而挑战在于 文档长度可变,所以你必须想出某种方法 有意义地将该文档编码成固定大小的向量,所以 经典的做法是词袋模型,其中每个 词汇表中的唯一词对应一个维度,英语大概有十万 个词在词汇表中,所以你有一个十万维的向量 其中大多数是零,因为大多数词不在你的文档中,而 出现的那些词有一些值,可能是计数或tf-idf分数之类的 那就是你的向量,这自然导致 稀疏数据,大部分是零,所以你不存储零,因为那样 计算效率低,你存储位置值元组的列表,或者只是 位置列表,这使得计算便宜得多,这 效果还不错,一个关键限制是当你查看实际 文档时,顺序很重要,这两个文档意思完全不同 但词袋模型每次都会给它们相同的分数,因为 它们对于出现的词有完全相同的向量,所以 在这种情况下解决方案是n-gram,你可以用bigram,即每对 可能的词,或trigram,即每三个词的组合,这 很容易区分那两个,但现在你达到了,那是什么,千万亿 维的向量,你可以做到,但你知道你会遇到各种 问题,当你沿着这条路走时,所以在神经网络领域 解决这个问题的自然方式是RNN,即循环 神经网络,不是递归神经网络,我犯过那个错误,但RNN 是一种新方法,它问的问题是如何计算一个函数 在可变长度的输入集上,他们用数学中的for循环来回答 他们递归地将任何阶段的输出定义为 前一阶段的输入和前一输出的函数,然后为了 监督学习的目的,最终输出就是这里的最终隐藏状态,所以 视觉上看起来像这个激活函数,它从原始文档 X获取输入,也从前一时间获取自身,你可以展开它并将其可视化为一个 非常深的神经网络,最终的答案,你看到的数字 最后是这个,就是这个深度神经网络处理了每一个 沿途的输入,好的,这个经典香草RNN的问题
HN 上的讨论
我不认为你真的想要一个5岁孩子的版本,因为那是“计算机可以很聪明”。但对于SDE1级别的解释,我制作了这个视频,它获得了大量的赞美,并且年复一年地吸引人们观看:[VIDEO] 它是在NLP的背景下,当然,transformer就是从这里开始的。 — leopd, 2023-05
注意力机制最初只是一个简单的技巧,用来避免使用循环神经网络。阅读原始论文“Attention is all you need paper”的引言([LINK])。这个视频解释了RNN的缺点以及transformer如何解决这些问题:[VIDEO] Andrej Karpathy在这里解释了注意力:[LINK] 他解释了注意力如何被视为一个通信网络:[LINK] — qigtyofhp, 2023-02
Yannic Kilcher很棒,但这个视频对我更有效:“LSTM已死。transformer万岁!”(Leo Dirac):[VIDEO] — peterfirefly, 2023-01
我最近刚刚经历了一段彻底理解transformer的旅程,以下是我找到的能够让我牢记于心的资源:1. 第7、9、10章 [LINK] 这对于真正建立起注意力概念非常有用(尽管实际的注意力部分仍然很简短)。2. [LINK] 这对于可视化和理解注意力并非transformer独有,实际上最初是为RNN设计的,非常有帮助。3. [LINK] 从视觉上理解transformer实际如何工作。4. [VIDEO] Leo Dirac的这个讲座对于收尾极为有帮助,不仅因为它实际上包含了一些伪代码,还因为它重新审视了一些关键主题,并涵盖了为什么需要transformer。对我来说,一个大的困惑点是ATTENTION和SELF-ATTENTION的概念不是一回事。希望这能帮到你。 — FL33TW00D, 2020-10
我不确定我理解得足够好来说,但看了一个关于它的视频[0],我认为有几个关键点:* “Attention is all you need”引入了位置编码,这允许你保留单词的上下文,从而实现更复杂的翻译(以及由此产生的生成式/类似ChatGPT的任务?),因为单词现在有了相对于彼此的上下文。与“词袋”模型相比,后者只告诉你单词是否存在。* 我不太明白为什么,但transformer(“AiaYN”引入的)可以完全并行化,而RNN/LSTM网络必须按令牌串行。完全并行化允许GPU优化,这意味着你可以利用摩尔定律进行训练。当人们声称这种突破时,我总是有点怀疑。毫无疑问,更好的算法会带来更好的结果,但有多少仅仅是由于更快的计算机、更便宜的计算、内存等。[0] [VIDEO] — abetusk, 2023-04
相关视频
- 遗传学与智力 · Google TechTalks · 1:06:31
- Andy Matuschak —— 大多数学习工具失败的原因 · Dwarkesh Patel · 2:22:40
- 神经网络和反向传播的详细入门:构建micrograd · Andrej Karpathy · 2:25:52
- 但什么是神经网络?| 深度学习第一章 · 3Blue1Brown · 18:40
- AlphaGo - 电影 | 完整获奖纪录片 · Google DeepMind · 1:30:28
- Transformer,LLM 背后的技术 | 深度学习第 5 章 · 3Blue1Brown · 27:14
- USENIX Security '18-Q:为什么主题演讲者不断建议改进安全性是可能的? · USENIX · 51:22
- 第一讲 | 机器学习(斯坦福) · Stanford · 1:08:40
- MarI/O - 视频游戏机器学习 · SethBling · 5:57
- 深入探讨 ChatGPT 等 LLM · Andrej Karpathy · 3:31:23
- 学会玩经典 NES 游戏的计算机程序 · suckerpinch · 16:17
- David Silver 强化学习课程 - 第一讲:强化学习导论 · Google DeepMind · 1:28:12
- 让我们从头构建 GPT:用代码,详细解释。 · Andrej Karpathy · 1:56:20
- 湾区视觉会议:无监督特征学习和深度学习 · Google TechTalks · 48:10
- A Hackers' Guide to Language Models · Jeremy Howard · 1:31:13
- "语音驱动开发:谁还需要键盘?" 作者 Emily Shea · Strange Loop Conference · 41:17