直观理解反向传播 | 深度学习第 3 章

Backpropagation, intuitively | Deep Learning Chapter 3

频道:3Blue1Brown · 时长:12:47 · 发布:2017-11-03 · 播放:6451394

在 YouTube 观看

简介

3Blue1Brown 的深度学习第三章以可视化、直观的方式讲解反向传播,以及神经网络在学习过程中发生了什么。后续视频讲解了背后的微积分。

HN 为什么推荐

被推荐为对纯数学感到吃力的人最容易理解的反向传播入门。

我发现 3Blue1Brown 的讲解在神经网络方面非常直观 — HN, 2018

机器学习与深度学习

中文字幕节选

这里,我们要讲反向传播,这是神经网络学习的核心算法。 在快速回顾一下我们的进度之后, 我首先要做的是直观地讲解 这个算法实际上在做什么,不涉及任何公式。 然后,对于想要深入数学的观众, 下一个视频会深入探讨这一切背后的微积分。 如果你看过前两个视频,或者你只是带着适当的 背景知识直接加入,你知道什么是神经网络,以及它如何前向传播信息。 这里,我们做的是识别手写数字的经典例子,其像素 值被输入到网络的第一层,有784个神经元, 我一直展示的是一个有两个隐藏层的网络,每个隐藏层只有16个神经元, 输出层有10个神经元,表示网络选择哪个数字 作为答案。我还期望你理解梯度下降, 如上一个视频所述,以及我们所说的学习是指 我们想要找到哪些权重和偏置可以最小化某个代价函数。 快速提醒一下,对于单个训练样本的代价, 你取网络给出的输出,以及你希望它给出的输出, 然后将每个分量之间的差的平方相加。 对所有数万个训练样本都这样做, 然后取平均,就得到了网络的总代价。 好像这还不够思考似的,如上一个视频所述, 我们要找的是这个代价函数的负梯度, 它告诉你需要如何改变所有的权重和偏置, 所有这些连接,以便最有效地降低代价。 反向传播,本视频的主题,是一个 计算那个极其复杂的梯度的算法。 上一个视频中有一个观点,我真的希望你现在 牢牢记住,那就是因为把梯度向量 看作13000维空间中的一个方向,说得轻一点, 超出了我们的想象范围,所以有另一种思考方式。 这里每个分量的大小告诉你 代价函数对每个权重和偏置有多敏感。 例如,假设你经历了我要描述的过程, 你计算了负梯度, 与这条边上的权重相关的 分量结果是3.2,而 与这条边相关的分量结果是0.1。 你可以这样解释:代价函数对第一个权重的 变化敏感32倍,所以如果你稍微 改变那个值一点点,就会导致代价的一些变化, 而这个变化是同样改变第二个权重 所导致的32倍。 就我个人而言,当我第一次学习反向传播时, 我认为最令人困惑的方面就是 符号和索引的追踪。 但是一旦你揭开这个算法每个部分真正在做什么, 它产生的每个单独效果实际上相当直观, 只是有很多小的调整层层叠加在 彼此之上。 所以我将完全无视符号, 只是逐步说明每个训练样本对权重和 偏置的影响。 因为代价函数涉及对所有数万个训练样本的 每个样本的某个代价取平均,我们为单个梯度下降步骤调整权重和 偏置的方式也取决于每一个样本。 或者说,原则上应该如此,但为了计算效率,我们稍后会做一个小 技巧,让你不必为每一步都处理每一个样本。 在其他情况下,现在,我们要做的就是 将注意力集中在一个样本上,这张数字2的图像。 这个训练样本应该产生什么影响 权重和偏置应该如何调整? 假设我们处于网络尚未训练好的阶段, 所以输出层的激活值看起来相当随机, 可能是像0.5、0.8、0.2这样的数值,等等。 我们不能直接改变这些激活值,我们

HN 上的讨论

说到这里,我发现 3Brown1Blue 的解释在神经网络方面非常直观,特别是对于新手,他们不一定能通过主要用数学解释来掌握概念。反向传播到底在做什么?[VIDEO] 他在这个主题上的其他视频也一样好。 — pastelsky, 2018-06
我也有同感。很长一段时间里,我对AI感兴趣,但同时又被数学吓倒。我对离散数学和经典算法还算熟悉,但微积分和线性代数对我来说完全陌生。而且,我不接受在没有很好理解其核心原理的情况下学习机器学习。所以数学是必须的。几个月前,我偶然发现了非常棒的YouTube频道3Blue1Brown,它以非常易懂的方式解释数学,同时让我感觉我终于开始理解线性代数和微积分背后的核心思想。就在最近,他发布了4个关于深度神经网络的视频:[LINK] [LINK] [VIDEO] [LINK] 所以我对机器学习的恐惧消失了,我非常兴奋地探索神经网络和其他东西(如支持向量机等)的全新世界。 — hal9000xp, 2017-11
这有很多文字,但内容不够。我推荐 3Blue1Brown 的神经网络视频:[VIDEO] — sxp, 2021-04
这对我来说非常及时,对于其他学习的人来说,这里是该系列的前几个视频:[LINK] [LINK] [VIDEO] (原始视频)[LINK] — nouveaux, 2017-11
这不是讽刺。如果你有一个具有多个输入的函数,雅可比矩阵就是该函数关于每个输入变量的所有偏导数组成的矩阵[1]。由于导数给出了函数的斜率,如果你把函数想象成一个凹凸不平的表面,每个点的高度就是输出,那么这个矩阵告诉你,如果你想在输出中“上升”或“下降”,应该以何种方式(以及多远)改变任何输入。反向传播是一种优化神经网络的方法。你想知道如何最好地调整网络的权重以优化某个损失函数,所以你要做的是计算该函数关于每个权重的梯度(即偏导数)。这允许你随后调整函数的权重,使你的网络在你试图让它学习的任何任务上变得更好。参见[2]了解这是如何工作的,参见[3]了解这与雅可比矩阵的关系,但一般来说,如果你试图在损失函数中“下坡”,很容易直观地看出知道函数朝哪个方向倾斜(即调整每个权重的效果)很重要,而这正是雅可比矩阵告诉你的。矩阵的逆[4]和它的转置[5]是线性代数中两种不同的运算。转置将行变成列,列变成… — seanhunter, 2024-10

相关视频