但什么是神经网络?| 深度学习第一章
But what is a neural network? | Deep learning chapter 1
频道:3Blue1Brown · 时长:18:40 · 发布:2017-10-05 · 播放:25352725
简介
3Blue1Brown 的深度学习第一章解释了神经元和层是什么,以及基本神经网络背后的数学原理,使用手写数字识别和视觉动画。
HN 为什么推荐
HN 将其视为学习神经网络的标准第一站,因其使数学变得直观而受到赞扬。
数学/概念的可视化和解释太棒了 — HN, 2017
中文字幕节选
这是一个 3。 它写得很潦草,而且渲染分辨率极低,只有 28x28 像素, 但你的大脑毫不费力就能认出它是个 3。 我希望你花点时间体会一下, 大脑能如此轻松地做到这一点,是多么不可思议。 我是说,这个、这个和这个也都能被认作 3, 尽管每张图像中各个像素的具体数值 彼此差异很大。 当你看到这个 3 时,你眼中被激活的那些感光细胞, 与你看到这个 3 时被激活的细胞截然不同。 但你那极其聪明的视觉皮层中, 有某种机制将这些都解读为 代表同一个概念,同时又能把其他图像识别为各自不同的 概念。 但如果我告诉你,嘿,坐下来给我写个程序,输入一个 像这样的 28x28 像素网格,输出一个 0 到 10 之间的数字, 告诉你它认为这个数字是几,那这个任务就从滑稽地简单变得 令人望而生畏。除非你一直与世隔绝, 我想我几乎不需要再强调机器学习和神经网络 对当下和未来的相关性与 重要性了。 但我在这里想做的是向你展示神经网络到底是什么, 假设你没有任何背景知识,并帮助你可视化它在做什么, 不是把它当作一个流行词,而是当作一段数学。 我希望你看完后会觉得这个结构本身是有其动机的, 并且当你读到或听到 神经网络所谓的“学习”时,能明白那是什么意思。 这个视频只专注于其中的结构部分, 下一个视频则会探讨学习。 我们要做的是搭建一个神经 网络,让它能学会识别手写数字。 这是介绍这个话题时比较经典的例子, 我很乐意沿用这个惯例, 因为在这两个视频的最后,我想给你推荐几个不错的 资源,你可以在那里学到更多,也可以下载实现这个功能的 代码,在自己的电脑上把玩。 神经网络有许许多多的变体, 近年来针对这些变体的研究出现了某种热潮, 但在这两个入门视频里,你和我只看最简单的 朴素形式,不加任何花哨的东西。 这是理解任何更强大的现代变体的必要前提, 相信我,它仍然有 足够多的复杂性够我们好好琢磨。 但即使是最简单的这种形式,它也能学会识别手写数字, 这对计算机来说已经是件很酷的事了。 同时你也会看到它确实达不到 我们可能对它抱有的某些期望。 顾名思义,神经网络受大脑启发,但让我们拆解一下。 神经元是什么,它们又以何种方式相互连接? 现在我说神经元时,我只希望你 把它想成一个存放数字的东西,具体来说是一个 0 到 1 之间的数字。 真的就仅此而已。 例如,网络一开始有一组神经元,对应 输入图像的每个 28x28 像素,总共 784 个神经元。 每个神经元存放一个数字,代表 对应像素的灰度值,从黑色像素的 0 一直到白色像素的 1。 神经元内部的这个数字叫做它的激活值, 你脑海中可以这样想象:当某个神经元的激活值很高时, 它就被点亮了。 这 784 个神经元就构成了我们网络的第一层。 现在跳到最后一层,这一层有10个神经元, 每个代表一个数字。 这些神经元的激活值,同样是0到1之间的某个数, 表示系统认为
HN 上的讨论
对我来说,3brown1blue系列:[VIDEO] 是一个极好的介绍,让Andrej的视频变得易于理解。然后我读了fastai书的前三章,但发现它太高层了,而我对底层工作原理感兴趣。浏览Andrej的makemore教程需要相当多的时间,但绝对值得。我使用了Google Colab的免费层直到最后一个。在他解释他计划做什么之后,经常暂停视频并尝试自己去做,是一种非常有收获的学习方式,有很多“啊哈”时刻。 — 6mian, 2024-04
本质上,计算机神经网络就是对浮点数进行大量的加法(和矩阵乘法)。参数是不同层神经元之间连接的“强度”或“权重”,以及每个神经元的“偏置”。如果神经元 Alice 连接到神经元 Bob,Alice 的值为 0.7,而 Alice 到 Bob 的连接权重为 0.5,那么从 Alice 发送到 Bob 的值就是 0.35。这个值(以及所有其他传入连接的值)会被求和,再加上该神经元的负偏置。我强烈推荐看看 3blue1brown 的系列视频,讲解神经网络、梯度下降和点积(以矩阵乘法实现)是如何联系在一起的:[VIDEO] — superkuh, 2023-04
3blue1brown 的视频大概是最好的替代品。可能有点基础?但说真的,他所有的数学视频质量都好得离谱。[VIDEO] — spandexcajun, 2019-05
[VIDEO] 3Blue1Brown 的神经网络播放列表。像其他 3Blue1Brown 视频一样,可视化和对数学/概念的解释非常棒,它们自然地让你对神经网络产生直觉。 — mandliya, 2017-12
我也有同感。很长一段时间,我对AI感兴趣,但同时又被数学吓倒。我对离散数学和经典算法还算熟悉,但微积分和线性代数对我来说完全陌生。而且,我不接受在没有很好理解其核心原理的情况下学习机器学习。所以数学是必须的。几个月前,我偶然发现了非常棒的YouTube频道3Blue1Brown,它以非常易懂的方式解释数学,同时让我感觉我终于开始理解线性代数和微积分背后的核心思想。就在最近,他发布了4个关于深度神经网络的视频:[VIDEO] [LINK] [LINK] [LINK] 所以我对机器学习的恐惧消失了,我非常兴奋地探索神经网络和其他东西(如支持向量机等)的全新世界。 — hal9000xp, 2017-11
相关视频
- 梯度下降,神经网络如何学习 | 深度学习第二章 · 3Blue1Brown · 20:33
- 直观理解反向传播 | 深度学习第 3 章 · 3Blue1Brown · 12:47
- 反向传播微积分 | 深度学习第 4 章 · 3Blue1Brown · 10:17
- BlueHat IL 2019 - Andrew “bunnie” Huang - 供应链安全:“如果我是一个民族国家...” · Microsoft Israel R&D Center · 45:37
- 忽略AI安全的10个理由 · Robert Miles AI Safety · 16:28
- AI 安全是帕斯卡的赌注吗? · Robert Miles AI Safety · 13:41
- 智能与愚蠢:正交性论点 · Robert Miles AI Safety · 13:02
- AI“停止按钮”问题 - Computerphile · Computerphile · 20:00
- MarI/O - 视频游戏机器学习 · SethBling · 5:57
- 通用人工智能的致命真相? - Computerphile · Computerphile · 8:30
- 格雷厄姆数有多大?(特邀罗恩·格雷厄姆) · Numberphile · 8:23
- 驾车回家 - ShaderToy · The Art of Code · 2:01
- 犹他大学计算机科学系 50 周年纪念 · University of Utah · 6:55:03
- JavaScript:好的部分 · Google TechTalks · 1:03:47
- Emacs + org-mode + Python在可重复研究中的应用;SciPy 2013演讲 · Enthought · 21:16
- 第一讲 | 用于视觉识别的卷积神经网络介绍 · Stanford University School of Engineering · 57:56
- 世界上最糟糕的显卡? · Ben Eater · 32:47
- 但什么是傅里叶变换?视觉介绍。 · 3Blue1Brown · 19:41
- 计算机内存是如何工作的?💻🛠 · Branch Education · 35:32