梯度下降,神经网络如何学习 | 深度学习第二章
Gradient descent, how neural networks learn | Deep Learning Chapter 2
频道:3Blue1Brown · 时长:20:33 · 发布:2017-10-16 · 播放:9795452
简介
3Blue1Brown 的神经网络第二章讲解代价函数和梯度下降,展示网络如何在训练中通过最小化误差来学习。
HN 为什么推荐
HN 推荐该系列,认为它是理解机器学习和 LLM 背后数学的非常易懂的方式。
3Blue1Brown 以非常易懂的方式解释数学 — HN, 2017
中文字幕节选
上一期视频我介绍了神经网络的结构。 这里我快速回顾一下,让我们的记忆保持新鲜, 然后本期视频我有两个主要目标。 第一个是介绍梯度下降的概念, 它不仅构成了神经网络学习的基础, 也是许多其他机器学习方法的基础。 之后我们会更深入地探讨这个特定网络的表现, 以及那些隐藏层的神经元最终在寻找什么。 提醒一下,我们的目标是经典的手写数字识别示例, 也就是神经网络界的 hello world。 这些数字被渲染在 28x28 像素的网格上, 每个像素的灰度值在 0 到 1 之间。 这些值决定了 网络输入层中 784 个神经元的激活值。 然后,后续层中每个神经元的激活值 是基于前一层所有激活值的加权和, 再加上一个特殊的数,叫做偏置。 然后你将这个和与另一个函数复合, 比如 sigmoid 压缩函数,或者 relu,就像我上期视频中讲的那样。 总的来说,给定这个有些随意的选择—— 两个隐藏层,每层 16 个神经元, 网络大约有 13,000 个权重和偏置可以调整, 正是这些值决定了网络实际做什么。 当我们说这个网络对给定数字进行分类时,意思是 最后一层中那 10 个神经元里最亮的那个对应着该数字。 记住,我们在这里对分层结构的动机是 也许第二层可以识别边缘, 第三层可能识别像环和线这样的图案, 最后一层则可以将这些图案拼凑起来识别数字。 所以在这里,我们学习网络是如何学习的。 我们想要的是一个算法,你可以向这个网络展示大量 训练数据,这些数据以许多不同的手写数字图像的形式出现, 并附有它们应该是什么的标签, 然后它会调整那 13,000 个权重和偏置,以提高其在训练数据上的表现。 希望这种分层结构意味着它学到的内容能泛化到训练数据之外的图像。 我们测试的方式是,在训练网络之后, 你向它展示更多它从未见过的带标签数据, 然后看看它对这些新图像的分类准确度如何。 对我们来说幸运的是,这也是它成为如此常见入门示例的原因, MNIST 数据库背后的好心人整理了一个包含 数万 张手写数字图像的集合,每张都标有它们 应该对应的数字。尽管将机器描述为学习很具挑衅性, 但一旦你看到它的工作原理,它感觉就不那么像疯狂的科幻设定了, 而更像是一个微积分练习。 我的意思是,基本上它归结为找到某个函数的最小值。 记住,从概念上讲,我们认为每个神经元都连接到 前一层的所有神经元,而定义其激活值的加权和中的权重 有点像这些连接的强度, 偏置则表明该神经元 倾向于活跃还是不活跃。 首先,我们只是将 所有这些权重和偏置完全随机初始化。 不用说,这个网络在给定的训练示例上会表现得很糟糕, 因为它只是在做随机的事情。 例如,你输入这张数字 3 的图像, 输出层看起来一团糟。 所以你要做的是定义一个成本函数,一种告诉计算机的方式, 它当前的表现有多差。 成本函数是一个简单的函数, 不,电脑,你不行,那个输出应该是大多数神经元的激活值为0,
HN 上的讨论
我也有同感。很长一段时间,我对AI感兴趣,但同时被数学吓倒。我对离散数学和经典算法相对熟悉,但同时微积分和线性代数对我来说完全陌生。此外,我不接受没有很好理解其核心原理就学习机器学习的方式。所以数学是必须的。几个月前,我偶然发现了非常棒的YouTube频道3Blue1Brown,它以非常易于理解的方式解释数学,同时我感觉我终于开始理解线性代数和微积分背后的核心思想。最近他发布了4个关于深度神经网络的视频:[LINK] [VIDEO] [LINK] [LINK] 所以我对机器学习的恐惧消失了,我非常兴奋地探索神经网络和其他东西如支持向量机等的全新世界 — hal9000xp, 2017-11
> 当LLM告诉我们太阳从东方升起时,并不是因为它真正理解天文学或太阳系。相反,它在训练数据中看到“太阳从东方升起”这个短语重复了太多次,以至于这成为最高概率的答案。这与其说是理解,不如说是模式识别。这与大多数人在基础教育中的经历没有太大区别([LINK])。尽管人类显然能做的远不止这些。而且,虽然“投票”对于多层感知机层来说可能是一个足够接近的比喻,但这并不是注意力层中发生的事情。我建议查看3blue1brown关于梯度下降的视频[VIDEO]和“LLM如何存储事实”[LINK]以及注意力如何工作[LINK] — superkuh, 2024-10
如果你想要一个详尽的答案,我推荐3Blue1Brown的神经网络播放列表:[LINK] 如果想要快速了解,可以观看这个片段:[VIDEO] — miklosme, 2020-05
这对我来说非常及时,对于其他学习者也是如此,这里是该系列的前几个视频:[LINK] [VIDEO] [LINK](原始视频)[LINK] — nouveaux, 2017-11
顺便说一句,我认为Amplify Partners决定赞助[1]本系列上一个视频是一个有趣的营销举措。我想(也希望)我们会看到更多风投赞助与其关注领域相关的开放教育内容。[1] [VIDEO] — afarrell, 2017-11
相关视频
- 但什么是神经网络?| 深度学习第一章 · 3Blue1Brown · 18:40
- 直观理解反向传播 | 深度学习第 3 章 · 3Blue1Brown · 12:47
- 反向传播微积分 | 深度学习第 4 章 · 3Blue1Brown · 10:17
- 但什么是傅里叶变换?视觉介绍。 · 3Blue1Brown · 19:41
- 计算机内存是如何工作的?💻🛠 · Branch Education · 35:32
- Transformer 中的注意力机制,逐步讲解 | 深度学习第六章 · 3Blue1Brown · 26:09
- AT&T档案:波行为的相似性(特别版) · AT&T Tech Channel · 28:02
- 神经网络和反向传播的详细入门:构建micrograd · Andrej Karpathy · 2:25:52
- AlphaGo - 电影 | 完整获奖纪录片 · Google DeepMind · 1:30:28
- Transformer,LLM 背后的技术 | 深度学习第 5 章 · 3Blue1Brown · 27:14
- USENIX Security '18-Q:为什么主题演讲者不断建议改进安全性是可能的? · USENIX · 51:22
- 第一讲 | 机器学习(斯坦福) · Stanford · 1:08:40
- MarI/O - 视频游戏机器学习 · SethBling · 5:57
- 深入探讨 ChatGPT 等 LLM · Andrej Karpathy · 3:31:23
- 学会玩经典 NES 游戏的计算机程序 · suckerpinch · 16:17
- David Silver 强化学习课程 - 第一讲:强化学习导论 · Google DeepMind · 1:28:12