从零开始的大型语言模型
Large Language Models from scratch
频道:Graphics in 5 Minutes · 时长:8:25 · 发布:2022-07-17 · 播放:375793
简介
一个简短的动画,解释像ChatGPT这样的语言模型如何工作,从自动补全和条件概率到神经网络、梯度下降和反向传播。它展示了网络如何充当通用函数逼近器。
HN 为什么推荐
HN推荐它作为一种快速、不降低理解难度的方法来了解LLM是如何构建的。
我强烈推荐Steve Seitz的这个视频 — HN, 2023
中文字幕节选
大家好,在本视频中你将全面了解大型语言模型,让我们 从手机上的自动补全功能开始吧。你有没有想过它是如何 工作的?这里建议的词是 the,它是英语中最常用的词。 让我们接着输入 y。有许多单词以 t y 开头。如果你取 最短的,你会得到 t y e。这个图展示了这个词随时间变化的频率。它在 1806 年相当流行,但今天你得读两千万个单词才能找到 tye 的第一次出现。我们可以查找每个以 t y 开头的单词的 这些频率,如果我们按词频排序,就有一个明显的赢家。同样的方法 也适用于短语和句子。每次你开始在互联网搜索引擎中输入时 都会看到。搜索引擎通过计算每个查询的频率来评分, 换句话说,有多少其他人使用过那个查询。那么语言建模就 只有这些吗?确实,目标是为每个句子分配一个概率, 而频率是一种方法。问题在于, 这种频率方法不允许你给新句子评分。这是一个完全 有效的句子,但可能之前没有出现过。你可能会问,每天有无数 的互联网帖子,真的会有多少新句子?我们不会 很快耗尽所有可能的单词组合吗?让我们做一个粗略的 计算。英语中有超过十万个单词,而 一个典型的句子有超过 10 个单词,这意味着 10 的 50 次方种组合。 这是一个荒谬的大数字。绝大多数句子永远不会被 任何人看到。所以为了真正建模语言,我们需要做的不仅仅是计数 已经存在的句子。我们需要以某种方式建模语法和风格等东西。 这里有一个诺贝尔奖获奖诗人的例子。让我们尝试构建一个语言 模型,能够像鲍勃·迪伦那样写作。我们将从把这个文本视为一个时间 序列开始,其中每个单词依赖于前一个。注意单词 was 出现了 三次。让我们把这三个实例合并为一个。这把我们的序列变成了一个 图。另一个重复的单词是 if。让我们把这两个也合并。 如果我们给这些边添加概率,它就变成了一个语言 模型,你可以用它来生成鲍勃·迪伦风格的文本。如果你从 早期开始并遍历正确的分支序列。 你就能得到原版歌词 现在让我们生成一句歌里没有的全新歌词,我们从 and 开始 沿着这些分支走,再看一个例子 嘿,这些其实相当不错,都是听起来像鲍勃的全新歌词 迪伦,但其他路径会给出奇怪的结果,大多数只会产生 胡言乱语,我们怎样才能改进这一点呢?对于 初学者来说,我们可以用更多的文本来构建模型,如果你 用整首歌来构建模型,会得到这样的结果,嗯,这些还是相当 奇怪,真正的问题在于我们的模型太简单了,它假设每个 词只依赖于前一个词,我们可以把它写成一个条件概率 它是当前词 x 下标 n 在给定前一个词 x 下标 n 减一的条件下的概率,如果你看三个词之间的关系 而不只是两个,效果会好一点,让我们建一张所有连续三元组的表 这些被称为三元组,你可以用这些三元组来定义下一个词的 概率,基于前两个词,文本生成的结果 稍微好了一些,但仍然不算好,问题在于这些词可能具有相当 长距离的依赖关系,例如 red 这个词与 hair 相关,而 hair 在前面三个
HN 上的讨论
考虑视频中的以下帧/时间:[VIDEO] 在视频的这个时间点,我们看到以下3件事:1)傅里叶级数 2)泰勒级数 3)神经网络 视频的其余部分继续展示神经网络如何近似函数——就像傅里叶级数和泰勒级数可以做到的那样... 现在,我没有数学高级博士学位,在观看这个视频之前,我从未将傅里叶级数、泰勒级数和神经网络联系起来... 我独立地了解每一个——但在观看视频之前,我从未想到它们可以用来相互近似。这就是关键词之一——近似。另一个关键词是恒等式——就像数学恒等式... 这是因为如果两个数学对象(函数、算法,随你怎么称呼)近似相等——那么应该有一组条件(即,“当且仅当...”,等等),一组严格定义的数学约束,如果满足这些条件/约束,那么这两个数学对象在这些严格定义的条件下完全精确等价... 换句话说,在这些严格定义的条件下——一个数学对象可以替换另一个——而不会损失精度或结果。换句话说,在这些严格… — peter_d_sherman, 2023-05
如果有人在寻找关于LLM如何构建的快速概述,我强烈推荐Steve Seitz的这个视频:[VIDEO]。它非常出色地让你从0到有不错的理解,而不会降低内容或滥用类比。 — sainez, 2023-04
不确定我能给出ELI5解释,但对我来说,这两个关于该主题的短视频最接近你想要的。至少它们帮助我快速跟上。希望它们也能为你做到同样的事情 ;-) 从零开始的大型语言模型 [VIDEO] 大型语言模型:第二部分 [LINK] — runetech, 2023-05
(注意:我是与你回复的不同人类——抱歉插嘴。)> “物理上可预防”是一个移动的目标。火箭和炮弹也是如此,但看看这个:[LINK] 人类在决心做某事时可以非常聪明和慷慨(每枚拦截导弹60,000美元,哇宝贝!!“民主”不是有史以来最伟大的东西吗!!!???)。不幸的是,妄想、不诚实、欺骗、误导等也是一些东西,而且显然是非常令人向往的东西,对某些人来说似乎不可抗拒。> 在预防当前可预防的死亡上投入的资源越多,目标就越远,因为越来越多的死亡原因变得可预防。这里似乎有些不对劲——当你说“更远”时,测量单位是什么?为了理解(如果你能原谅这种口语化)这个论点,我认为如果你能给出一个定量例子来证明你的事实确实是事实,那会有所帮助。我的直觉是,你可能混淆了[1]物理死亡(具体)与死亡原因(抽象)。> 所以,这是一个错误的论点。你的一个问题——我们中的一些人知道这个现象:[LINK] ... 而且不仅仅是… — mistermann, 2024-03
> “系统”有什么不严肃、不真诚、不合法的地方?一些例子(我可以无限地写下去):[LINK](“银行错误对我们有利”这一节,对我来说尤其冒犯)[LINK](这类事情(相当常见)对我来说很冒犯,我们文化中对它的自满也是如此)在我看来,它是如何(部分地)被延续的:- 我确信无论这个系统是什么,它都不完美。但我在这里使用着“系统”并过着自己的生活。[合理化] - 我在互联网上看到那么多奇怪的评论,听起来像是“红药丸”的胡说八道。[基于训练的启发式模式匹配到~坏/蠢/错] - 它能变得更好吗?有改进的空间吗?绝对有。但生活在平行的红药丸现实中是绝对无益的努力。[基于训练的启发式模式匹配到~坏/蠢/错 + 对现实幻觉的文化正常化(在这种情况下:未来)] - 毕竟,你使用真实的系统来生活,其他人也是如此。不如面对这个事实,真正地在肉空间与血肉之躯互动,而不是红药丸虚拟土地上的任何东西或任何人。[停留… — mistermann, 2023-01
相关视频
- AT&T档案:波行为的相似性(特别版) · AT&T Tech Channel · 28:02
- 原始双缝实验 · Veritasium · 7:39
- 神经网络和反向传播的详细入门:构建micrograd · Andrej Karpathy · 2:25:52
- 但什么是神经网络?| 深度学习第一章 · 3Blue1Brown · 18:40
- AlphaGo - 电影 | 完整获奖纪录片 · Google DeepMind · 1:30:28
- Transformer,LLM 背后的技术 | 深度学习第 5 章 · 3Blue1Brown · 27:14
- USENIX Security '18-Q:为什么主题演讲者不断建议改进安全性是可能的? · USENIX · 51:22
- 第一讲 | 机器学习(斯坦福) · Stanford · 1:08:40
- MarI/O - 视频游戏机器学习 · SethBling · 5:57
- 深入探讨 ChatGPT 等 LLM · Andrej Karpathy · 3:31:23
- 学会玩经典 NES 游戏的计算机程序 · suckerpinch · 16:17
- David Silver 强化学习课程 - 第一讲:强化学习导论 · Google DeepMind · 1:28:12
- 让我们从头构建 GPT:用代码,详细解释。 · Andrej Karpathy · 1:56:20
- 湾区视觉会议:无监督特征学习和深度学习 · Google TechTalks · 48:10
- A Hackers' Guide to Language Models · Jeremy Howard · 1:31:13
- 安德烈·卡帕西 - 特斯拉全自动驾驶的人工智能 · Matroid · 30:08