神经网络揭秘 [第 1 部分:数据与架构]
Neural Networks Demystified [Part 1: Data and Architecture]
频道:Welch Labs · 时长:3:07 · 发布:2014-11-04 · 播放:840004
简介
Welch Labs 关于用 Python 构建完整神经网络的短系列的第一部分。它介绍了数据和简单网络的架构,后续部分将涵盖前向传播、梯度下降和反向传播。
HN 为什么推荐
HN 评论者向初学者推荐这个系列,认为它是关于神经网络和反向传播如何工作的最清晰的简短教程之一。
我在网上看到的最清晰的教程之一是 Stephen C Welch 的一个由非常短的视频组成的短系列 [2] [3]。 — HN, 2015
中文字幕节选
假设你想预测某个输出值 y, 给定某个输入值 x。例如, 也许你想根据你睡了多少小时,以及 前一晚学习了多少小时,来预测你的考试分数。要使用机器学习方法, 我们首先需要一些数据。假设对于最近的三次考试, 你记录了你学习的小时数、你睡觉的小时数, 以及你的考试分数。我们将使用编程语言 Python 把数据存储在二维的 "numpy" 数组中。现在我们有了数据, 我们将用它来训练一个模型,以预测你 在下一次考试中表现如何, 基于你睡了多少小时以及学习了多少小时。这被称为 监督回归问题。 它之所以是监督的,是因为我们的样本有输入 和输出。它之所以是回归问题,是因为我们预测的是你的考试 分数,这是一个连续输出。如果我们预测的是你的字母等级, 这就被称为分类问题,而不是回归问题。 机器学习中的模型数量多得惊人, 这里我们将使用一个特别有趣的模型, 叫做人工神经网络。这些家伙大致基于你大脑中 神经元的工作方式, 并且最近在解决非常庞大 且非常困难的问题上特别成功。 在我们把数据投入模型之前,我们需要考虑 数据单位上的差异。我们的两个输入都是以小时为单位,但我们的 输出是考试分数,范围在 0 到 100 之间。 神经网络很聪明,但还没聪明到能猜出我们数据的单位。 这有点像让我们的模型去比较苹果和橘子, 而大多数学习模型其实只想比较苹果和苹果。 解决办法是缩放我们的数据,这样我们的模型只会看到标准化的单位。 这里我们将利用我们所有数据都是正数这一事实, 简单地除以每个变量的最大值, 有效地把结果缩放到 0 和 1 之间。 现在我们可以构建我们的神经网络了。我们知道我们的网络必须有两个输入, 和一个输出,因为这些是我们数据的维度。 我们将把输出层称为 y hat,因为它是 y 的估计值, 但与 y 并不相同。输入层和输出层之间的任何层都称为 隐藏层。 最近研究人员已经构建了具有许多许多许多隐藏层的网络, 这些被称为深度信念网络,由此产生了深度学习这个术语。 这里我们将使用一个隐藏层,包含三个隐藏单元, 但如果我们想构建一个深度神经网络,我们只需把一堆这样的 层堆叠在一起。在神经网络可视化中,圆圈代表神经元, 线条代表突触。突触的工作非常简单,它们从 输入中取一个值,乘以一个特定的权重, 然后输出结果。神经元稍微复杂一点, 它们的工作是把其他突触的输出加在一起, 并应用一个激活函数。某些激活函数允许神经 网络建模复杂的 非线性模式,而更简单的模型可能会错过这些模式。对于我们的神经网络,我们将使用 sigmoid 激活函数。 接下来我们将在 Python 中构建我们的神经网络。
HN 上的讨论
其实核心就是反向传播算法[1]。其他一切似乎都只是用来判断何时停止的手段。我在网上见过的最清晰的讲解之一,是 Stephen C Welch 制作的一个由非常短的视频组成的系列[2][3]。如果你对这个领域感兴趣,可以从他入手。 [1]: [LINK] [2]: [VIDEO] [3]: [LINK] — film42, 2015-02
你好,我的背景和你一样。假设你完全是个新手,我了解到人工智能不像编程,任何有基本计算知识的人都能上手。你不能仅仅通过阅读别人的代码来学习人工智能。它就像物理,在入门之前你需要理解一些坚实的原理。重点是:人工智能并不自带“电池”。如果你确实是个新手,你必须学习先决条件。按顺序遵循这些步骤,我保证你最多六个月内就能胜任人工智能。(根据我过去的经验) - 1. 了解人工智能实际上是什么 [VIDEO] - 2. 编写基本的机器学习代码 [LINK] - 3. 理解涉及的数学 [LINK] - 4. 掌握一些重要概念,[LINK] - 5. 完成。[LINK] — max_, 2016-06
我也推荐 Welch Labs 的 Neural Network Demystified 系列[0]。它是 Coursera 课程和 YouTube 视频的结合。它涉及一些数学,但仍然保持基础。 [0]: [VIDEO] — josso, 2016-04
好文章。我想补充几个很棒的资源。 - Grokking Deep Learning [LINK] 这是一本极好的书,除了会 Python 之外没有其他先决条件,带你了解深度学习的基础。它的解释非常直观易懂,并且除了 NumPy 之外不使用任何库,所以你是从头开始构建整个东西。 - Deep Learning With Python [LINK] 这本书和上一本有点相反,它不深入数学和理论,而是引导你使用一个非常易于使用的深度学习库(Keras)构建几个实际项目。除了上一本书的理论之外,这是获得实践经验的好方法。同样除了 Python 之外没有先决条件,非常容易上手。 - 3blue1brown 关于神经网络的视频:[LINK] 极其精彩的高层次简明概述,介绍人工神经网络如何工作。我强烈推荐你从这里开始。你也应该看看他关于微积分和线性代数的视频,它们是学习所需数学的绝佳方式。 - 可汗学院… — rayalez, 2018-02
相关视频
- Hello World - 机器学习食谱 #1 · Google for Developers · 6:52
- Anton:实现生物分子模拟百倍加速的专用机器 · NC State · 1:20:34
- Netflix JavaScript Talks - 使用响应式扩展的异步 JavaScript · Matt Marenghi · 28:38
- 神经网络和反向传播的详细入门:构建micrograd · Andrej Karpathy · 2:25:52
- 但什么是神经网络?| 深度学习第一章 · 3Blue1Brown · 18:40
- AlphaGo - 电影 | 完整获奖纪录片 · Google DeepMind · 1:30:28
- Transformer,LLM 背后的技术 | 深度学习第 5 章 · 3Blue1Brown · 27:14
- USENIX Security '18-Q:为什么主题演讲者不断建议改进安全性是可能的? · USENIX · 51:22
- 第一讲 | 机器学习(斯坦福) · Stanford · 1:08:40
- MarI/O - 视频游戏机器学习 · SethBling · 5:57
- 深入探讨 ChatGPT 等 LLM · Andrej Karpathy · 3:31:23
- 学会玩经典 NES 游戏的计算机程序 · suckerpinch · 16:17
- David Silver 强化学习课程 - 第一讲:强化学习导论 · Google DeepMind · 1:28:12
- 让我们从头构建 GPT:用代码,详细解释。 · Andrej Karpathy · 1:56:20
- 湾区视觉会议:无监督特征学习和深度学习 · Google TechTalks · 48:10
- A Hackers' Guide to Language Models · Jeremy Howard · 1:31:13