神经网络和反向传播的详细入门:构建micrograd

The spelled-out intro to neural networks and backpropagation: building micrograd

频道:Andrej Karpathy · 时长:2:25:52 · 发布:2022-08-16 · 播放:4502046

在 YouTube 观看

简介

Andrej Karpathy的《神经网络:从零到英雄》系列第一讲,用Python从头构建micrograd,一个微型自动微分引擎。逐步解释反向传播和神经网络训练,仅需基础Python和一些高中数学。

HN 为什么推荐

HN认为它是真正理解反向传播和神经网络的最佳起点,因为Karpathy用直觉解释原因,并用代码构建一切。

它特别有用,因为他解释了为什么,并提供了直观的解释,而不仅仅是谈论是什么和怎么做。 — HN, 2023

Python、Ruby 与脚本语言 · 机器学习与深度学习

中文字幕节选

大家好,我叫Andrej,我训练深度神经网络已经超过 十年了,在这节课中,我想向你们展示神经网络训练 在底层是什么样子的。具体来说,我们将从一个空白的 Jupyter笔记本开始,到这节课结束时,我们将定义并训练一个神经 网络,你们将看到底层发生的一切,以及 它在直观层面上是如何工作的。现在,我特别想做的是 带你们一步步构建micrograd。micrograd是我 大约两年前在GitHub上发布的一个库,但当时我只上传了 源代码,你们得自己去弄清楚它是如何工作的。所以 在这节课中,我将一步步带你们了解它,并对 它的各个部分进行评论。那么,什么是micrograd,为什么它有趣呢? micrograd基本上是一个自动梯度引擎,autograd是自动梯度的缩写, 它实际上实现的是反向传播。反向传播是一种 算法,允许你高效地计算某个 损失函数相对于神经网络权重的梯度,这让我们 能够迭代地调整神经网络的权重,以 最小化损失函数,从而提高网络的准确性。所以反向 传播是任何现代深度神经网络库(比如 PyTorch或JAX)的数学核心。micrograd的功能我认为最好 通过一个例子来说明。如果我们向下滚动这里,你会看到micrograd 基本上允许你构建数学表达式,这里我们 正在做的是,我们有一个表达式,其中有两个输入a 和b,你会看到a和b是-4和2,但我们把这些 值包装到我们将作为micrograd一部分构建的 Value对象中。所以这个Value对象将包装数字本身,然后我们 将在这里构建一个数学表达式,其中a和b被转换为 c、d,最终是e、f和g。我展示了一些函数,一些 micrograd的功能以及它支持的操作,所以你可以将两个 Value对象相加,相乘,将它们提升到常数幂,你可以 偏移1,取负,在零处压缩,平方,除以常数,除以它 等等。所以我们用这两个输入a和b构建一个表达式图, 我们创建了一个输出值g,micrograd将在后台构建 整个数学表达式,例如它会知道c也是一个 Value,c是加法操作的结果,c的子节点 是a和b,因为c将维护指向a和b Value对象的指针。所以 我们基本上会确切知道这一切是如何布局的,然后我们不仅可以做 我们所说的前向传播,我们实际上查看g的值,当然 这很直接,我们将使用.data属性访问它, 所以前向传播的输出,g的值是24.7,但重要的 是,我们还可以取这个g Value对象,并调用它的backward, 这基本上会在节点g处初始化反向传播,反向传播 要做的是从g开始,然后 向后穿过那个表达式图,并递归地应用 微积分中的链式法则,这让我们能够 计算g相对于所有内部节点(如e、 d和c)的导数,但也相对于输入a和b,然后我们可以查询 例如g相对于a的导数,这里是a.grad,它 恰好是138,以及g相对于b的导数,它也恰好是 这里的645。我们很快就会看到,这个导数是非常重要的信息,因为

HN 上的讨论

如果你有 20 小时的空闲时间,我强烈推荐 Andrej Karpathy 的这个 YouTube 播放列表 [VIDEO]。它从反向传播的基本原理开始,然后进阶到构建几个简单的模型,最后以构建一个 GPT-2 克隆结束。它不会教你关于 AI 模型的一切,但它为你向外拓展提供了坚实的基础。 — jwitthuhn, 2025-12
这篇博文分析了代码,重点探讨了 Andrej Karpathy 精彩的 micrograd 讲座中的小细节和思想。原讲座链接:[VIDEO] 我很想听听大家对这篇博文的任何想法或评论。 — omrishn, 2025-11
为了学习?主要是观看和反复观看Karpathy的《Zero To Hero》[1]和斯坦福的《卷积神经网络视觉识别导论》[2],还有很多从头开始讲解Transformer的视频,比如Umar Jamali的视频[3],我也逆向研究到McCulloch和Pitts。阅读那30篇论文[LINK]等等。当然还有Yannic Kilcher[4],也在Discord上听他们的论文讨论。大量练习手工进行反向传播和手工制作玩具模型,以直观理解信号流,并构建各种小型系统,例如,你能把whisper、小型qwen3和kokoro推到多远,用语音控制你的电脑?人们认为deepseek/mistral/meta等正在民主化AI,但实际上是Karpathy教我们 :) 这样我们才能理解它们并制作自己的。[1] [VIDEO] [2] [LINK] [3] [LINK] [4] [LINK] — jackdoe, 2025-06
同样,Karpathy的视频系列“神经网络从零到英雄”[0]也涉及了很多这方面的内容和直觉。最好的入门系列之一(即使你忽略神经网络部分),并涉及梯度、微分及其直观含义。[0] [VIDEO] — throwaway7783, 2025-05
看看Karpathy最近的讲座。它们是金矿。从micrograd[2]开始看这里[1]。它一开始不使用线性代数/矩阵,但原理是一样的。矩阵乘法是将神经元之间连接的权重和输入值结合起来(形成一个激活值,然后根据是否通过某个阈值函数,可能导致该神经元“激活”或不激活)。我们使用矩阵来建模神经元之间的连接——每一行是一个连接,每一列是对应于一个输入的权重。[1] [VIDEO] [2] [LINK] — paulsmith, 2023-09

相关视频