反向传播微积分 | 深度学习第 4 章
Backpropagation calculus | Deep Learning Chapter 4
频道:3Blue1Brown · 时长:10:17 · 发布:2017-11-03 · 播放:4034240
简介
3Blue1Brown 的深度学习第 4 章给出了反向传播微积分更正式、基于符号的阐述,将前一章的直觉与教科书和代码中的数学联系起来。
HN 为什么推荐
被推荐为一种易于理解、可视化的方式来理解反向传播和神经网络。
3Blue1Brown 以非常易于理解的方式解释数学 — HN, 2017
中文字幕节选
[在 criblate.com 提交字幕更正] 这里有一个重要的前提,就是你已看过第3部分, 那部分直观地讲解了反向传播算法。 现在我们要稍微正式一些,深入探讨相关的微积分。 感到有些困惑是很正常的, 所以经常暂停并思考的准则在这里同样适用, 和其他地方一样。 我们的主要目标是展示机器学习中人们通常如何思考 网络背景下的微积分链式法则, 这与大多数入门微积分课程的处理方式感觉不同。 对于那些对相关微积分不太熟悉的人, 我确实有一个完整的系列讲解这个主题。 让我们从一个极其简单的网络开始, 每一层只有一个神经元。 这个网络由三个权重和三个偏置决定, 我们的目标是理解代价函数对这些变量的敏感程度。 这样,我们就知道对这些项进行哪些调整会 最有效地降低代价函数。 我们将只关注最后两个神经元之间的连接。 让我们用上标L标记最后一个神经元的激活值, 表示它所在的层,所以前一个神经元的激活值是a^(L-1)。 这些不是指数,只是我们用来索引所讨论内容的方式, 因为我想把下标留给以后不同的索引。 假设对于给定的训练样本,我们希望这个最后的激活值 为y,例如,y可能是0或1。 所以这个网络对单个训练样本的代价是(a^(L) - y)的平方。 我们将那个训练样本的代价记为C0。 提醒一下,这最后的激活值由一个权重决定, 我将其称为w(L),乘以前一个神经元的激活值加上某个偏置, 我将其称为b(L)。然后你将这个结果通过某个特殊的 非线性函数,比如sigmoid或ReLU。 实际上,如果我们给这个加权和起一个特殊的名字,比如z, 并使用与相关激活值相同的上标,会让我们更容易处理。 这里有很多项,你可以这样理解:权重、 前一个激活值和偏置一起用来计算z, z又让我们计算a,最后,a与常数y一起, 让我们计算代价。 当然,a(L-1)受它自己的权重和偏置等影响... 但我们现在不关注那个。 所有这些都只是数字,对吧? 把每一个想象成有自己的小数字线是很好的。 我们的第一个目标是理解代价函数 对权重w(L)微小变化的敏感程度。 或者换句话说,C关于w(L)的导数是什么? 当你看到这个del w项时,把它想象成对W的微小推动, 比如改变0.01,并把del C项想象成 由此导致的代价的微小变化。 我们想要的是它们的比值。 从概念上讲,对w(L)的这个微小推动导致z(L)的一些变化, 这又导致a(L)的一些变化,从而直接影响代价。 所以我们先看z(L)的微小变化与 w(L)的微小变化的比值,即z(L)关于w(L)的导数。 同样,你然后考虑a(L)的变化与 导致它的z(L)的微小变化的比值,以及 C的最终变化与a(L)的中间变化的比值。 这就是链式法则,将这些比值相乘 就得到了C对w(L)微小变化的敏感度。 现在屏幕上有很多符号, 花点时间确保清楚它们都是什么, 因为现在我们要计算相关的导数。
HN 上的讨论
我只是一个爱好者。话虽如此,我认为作者的第一张图片真正捕捉到了前向传播和反向传播的核心。对于想更多了解自动微分的人,我发现这两个资源很棒 [1, 2]。他们没有使用自动微分这个词,但看它,我能看出是同一回事。我曾经尝试动画化前向传播 [3]。如果我动画化反向传播,我可能也会制作一个关于自动微分的动画,因为这是我现在知道的解释反向传播最直观的方式。它仍然在我的大待办事项清单上 ;-) [1] [LINK] [2] 3Blue1Brown 在他的深度学习系列第 4 集中做了:[VIDEO] [3] [LINK] — melvinroest, 2020-06
这对我来说非常及时,对于其他学习者也是如此,以下是该系列的前几个视频:[LINK] [LINK] [LINK](原始视频)[VIDEO] — nouveaux, 2017-11
我也有同感。很长一段时间,我对AI感兴趣,但同时又被数学吓倒。我对离散数学和经典算法相对熟悉,但微积分和线性代数对我来说完全陌生。而且,我不接受在没有很好理解其核心原理的情况下学习机器学习。所以数学是必须的。几个月前,我偶然发现了非常棒的YouTube频道3Blue1Brown,它以非常易懂的方式解释数学,同时我感觉我终于开始理解线性代数和微积分背后的核心思想。最近,他发布了4个关于深度神经网络的视频:[LINK] [LINK] [LINK] [VIDEO] 所以我对机器学习的恐惧消失了,我非常兴奋地探索神经网络和其他事物(如支持向量机等)的全新世界。 — hal9000xp, 2017-11
这不是讽刺。如果你有一个具有多个输入的函数,雅可比矩阵是该函数对每个输入变量的所有偏导数的矩阵[1]。由于导数给出函数的斜率,如果你将函数想象成一个凹凸不平的表面,每个点的高度是输出,那么这个矩阵告诉你,如果你想在输出中“上升”或“下降”,应该改变任何输入的方向(以及改变多少)。反向传播是一种优化神经网络的方法。你想知道如何最好地调整网络的权重以优化某个损失函数,所以你要做的是计算该函数对每个权重的梯度(即偏导数)。这允许你调整函数的权重,使你的网络在你试图让它学习的任何任务上变得更好。参见[2]了解这是如何工作的,以及[3]了解这与雅可比矩阵的关系,但一般来说,如果你试图在损失函数中“下坡”,很容易直观地看出知道函数向哪个方向倾斜(即调整每个权重的效果)很重要,这就是雅可比矩阵告诉你的。矩阵的逆[4]和它的转置[5]是线性代数中两个不同的操作。转置将行变为列,列变为行,而矩阵的逆可能在… — seanhunter, 2024-10
相关视频
- 但什么是神经网络?| 深度学习第一章 · 3Blue1Brown · 18:40
- 直观理解反向传播 | 深度学习第 3 章 · 3Blue1Brown · 12:47
- 梯度下降,神经网络如何学习 | 深度学习第二章 · 3Blue1Brown · 20:33
- 向量 | 第1章,线性代数的本质 · 3Blue1Brown · 9:51
- 神经网络和反向传播的详细入门:构建micrograd · Andrej Karpathy · 2:25:52
- 但什么是傅里叶变换?视觉介绍。 · 3Blue1Brown · 19:41
- 贝塞尔曲线之美 · Freya Holmér · 24:25
- 样条曲线的连续性 · Freya Holmér · 1:13:50
- Jim Simons(完整版访谈)- Numberphile · Numberphile2 · 1:00:43
- AlphaGo - 电影 | 完整获奖纪录片 · Google DeepMind · 1:30:28
- 但比特币究竟是如何运作的? · 3Blue1Brown · 25:15
- Transformer,LLM 背后的技术 | 深度学习第 5 章 · 3Blue1Brown · 27:14
- APL中的康威生命游戏 · Dyalog · 7:47
- USENIX Security '18-Q:为什么主题演讲者不断建议改进安全性是可能的? · USENIX · 51:22
- 第一讲 | 机器学习(斯坦福) · Stanford · 1:08:40
- MarI/O - 视频游戏机器学习 · SethBling · 5:57