我们需要注意力吗?- 用于NLP的线性RNN和状态空间模型(SSM)
Do we need Attention? - Linear RNNs and State Space Models (SSMs) for NLP
频道:Sasha Rush · 时长:39:42 · 发布:2023-07-05 · 播放:35431
简介
Sasha Rush 在 MLSys 的演讲中综述了线性RNN和状态空间模型作为Transformer风格模型中注意力的替代方案。内容涵盖基础预备知识,并早于 Mamba。
HN 为什么推荐
HN 评论者推荐它来建立对状态空间模型以及Transformer和SSM层之间权衡的直觉。
我强烈推荐 Sasha Rush 关于它的视频 — HN, 2024
中文字幕节选
今天我要谈谈过去几年我一直感兴趣的话题。 归根结底就是这个问题:我们需要注意力吗? 这次演讲实际上是对许多其他优秀研究人员所做工作的综述。 首先,我想先做个铺垫,谈谈Transformer 和注意力。具体来说,我想介绍这个抽象表示, 它代表了本项目目标。 我们将输入一个序列,并希望产生一个最终序列 输出。为此,我们将运行两个重复的组件。 一个是前馈层,另一个是注意力层。 现在我们先从前馈层谈起。 这部分基本上独立作用于序列的每个组成部分。 它可以完全并行运行,相当于只是在序列的每个 组成部分上运行一个神经网络。 更有趣的部分是注意力部分。 在这里,我们基本上会通过考虑序列中所有 其他先前的时间步来计算下一步。 你可以把这看作是一种二次依赖关系,其中新序列中的每个 组成部分都需要查看之前所有可能的位置。 现在我们将把Transformer用于两个通用任务。 第一个是语言生成任务。 这里的目标是预测序列中的下一个词。 在我的NLP课上,我经常用一个非常直接的例子,输入序列 是“狗走到____”,我们想要生成“狗走到 公园”。你可以认为前馈网络只是独立作用于这些 词,而注意力组件则考虑所有 先前的位置,以推断下一个可能的词。 接下来我们要看的是来自一个名为Long Range Arena的基准数据集的任务。这个基准数据集是为了测试这些神经网络的 长距离组件而精心设计的。 在这个基准的列表操作部分,我们的目标是计算一个简单的 数学程序。我们会有两个函数:max和min,并且我们会有 不同形式的括号来组合这些函数。 目标就是简单地运行这个函数并计算出输出。 现在,这类任务的好处在于,我们可以计算出任意具有挑战性 且任意长的例子,以此来测试我们模型的 交互组件。现在,在处理这些任务时,我们可以看看 模型注意力层中发生了什么。 经典的方法是用注意力矩阵。 注意力矩阵基本上告诉我们系统内部不同交互 发生在哪里。 这里我们看一个列表操作的输入,我们将看一种 简化版的注意力图。 这里所有灰色组件代表大的交互,白色组件 代表系统本身没有或很小的交互。 这张幻灯片的主要观点只是指出,在运行注意力时,这些 图可以任意复杂。 注意力能够动态地构建对每个组件重要的 交互,并且它基于前几层中发生的所有计算 来实现这一点。这对于小例子来说没问题,但即使到 中等规模的例子,它也可能变得极其复杂。 所以这是一个长度为100步的列表操作注意力矩阵的例子。 列表操作数据集最多有2000个例子,所以你可以想象这些 注意力图会变得多么复杂。 在实践中,当处理真实语言例子时,当处理长 文档甚至书籍时,可能常常希望达到8000甚至32000 或100000步的这些模型。 所以,以此为背景,我想稍微谈谈今天演讲中 所介绍研究的主要目标。 我们要问的问题是,在计算序列时,是否有必要具备这种 动态回顾所有位置的能力
HN 上的讨论
对于那些好奇 transformer 和状态空间模型层之间权衡的人,我强烈推荐 Sasha Rush 关于这个的视频:[VIDEO] — a_wild_dandan, 2024-03
嗨!博客作者。这是几年前的一次尝试,以详细的方式理解和撰写关于这篇论文的内容。这里有一个视频也涵盖了这个主题:[VIDEO] 博客文章的第 2 节不再非常相关。许多进展(DSS、S4D)简化了那部分过程。可以说,所有这些也应该为 Mamba(同一作者)更新。 — srush, 2024-02
推荐 Sasha Rush 的讲座 [VIDEO],它通过线性 RNN 提供了状态空间模型的直觉 — anomaly72, 2024-01
相关视频
- 得出结论:租房真的是浪费钱吗? · The Globe and Mail · 8:33
- 神经网络和反向传播的详细入门:构建micrograd · Andrej Karpathy · 2:25:52
- 但什么是神经网络?| 深度学习第一章 · 3Blue1Brown · 18:40
- AlphaGo - 电影 | 完整获奖纪录片 · Google DeepMind · 1:30:28
- Transformer,LLM 背后的技术 | 深度学习第 5 章 · 3Blue1Brown · 27:14
- USENIX Security '18-Q:为什么主题演讲者不断建议改进安全性是可能的? · USENIX · 51:22
- 第一讲 | 机器学习(斯坦福) · Stanford · 1:08:40
- MarI/O - 视频游戏机器学习 · SethBling · 5:57
- 深入探讨 ChatGPT 等 LLM · Andrej Karpathy · 3:31:23
- 学会玩经典 NES 游戏的计算机程序 · suckerpinch · 16:17
- David Silver 强化学习课程 - 第一讲:强化学习导论 · Google DeepMind · 1:28:12
- 让我们从头构建 GPT:用代码,详细解释。 · Andrej Karpathy · 1:56:20
- 湾区视觉会议:无监督特征学习和深度学习 · Google TechTalks · 48:10
- A Hackers' Guide to Language Models · Jeremy Howard · 1:31:13
- 安德烈·卡帕西 - 特斯拉全自动驾驶的人工智能 · Matroid · 30:08
- [1小时演讲] 大型语言模型入门 · Andrej Karpathy · 59:48