语言建模的详细入门:构建makemore

The spelled-out intro to language modeling: building makemore

频道:Andrej Karpathy · 时长:1:57:45 · 发布:2022-09-07 · 播放:1336231

在 YouTube 观看

简介

安德烈·卡帕西从头构建了一个二元字符级语言模型,介绍了torch.Tensor以及训练、采样和损失评估的框架。这是他的makemore系列中迈向GPT风格Transformer的第一步。

HN 为什么推荐

HN推荐它作为一个虽然长但值得的途径,从技术角度揭开语言模型工作原理的神秘面纱。

它很长(2小时),但如果有人对LLM的技术工作原理感到好奇,非常值得花时间。 — HN, 2024

机器学习与深度学习 · 大语言模型与生成式 AI

中文字幕节选

大家好,希望你们一切顺利。 接下来我想做的是构建 makemore。 就像之前的 micrograd 一样,makemore 是我 GitHub 网页上的一个仓库。 你们可以看看它。但就像 micrograd 一样,我将一步步构建它, 并且把一切都详细解释清楚。 所以,我们将一起慢慢地构建它。 那么,makemore 是什么?makemore,顾名思义,就是对你给它的东西进行更多生成。 这里有一个例子。 names.txt 是 makemore 的一个示例数据集。 当你查看 names.txt 时,你会发现它是一个非常庞大的名字数据集。 这里有各种不同类型的名字。 事实上,我相信有 32,000 个名字,是我从一个政府网站上随机找到的。 如果你在这个数据集上训练 makemore,它将学会生成更多类似这样的东西。 生成更多类似这样的东西。 嗯,特别是在这个例子中,这意味着更多听起来像名字的东西, 但实际上是独特的名字。 也许如果你有孩子,正试图给他起名,你可能在寻找 一个听起来很酷、独特的新名字,makemore 可能会帮到你。 所以,这里有一些在数据集上训练神经网络后生成的示例。 所以,这里有一些它会生成的独特名字示例。 Dontal、呃 Irot、呃 Zendy,等等。 所以,所有这些听起来都像名字,呃但当然它们并不是名字。 所以,在底层,makemore 是一个字符级语言模型。 这意味着它将这里的每一行都视为一个示例。 并且在每个示例中,它将它们都视为单个字符的序列。 所以,r e e s e 是这个示例,这就是字符序列, 这就是我们构建 makemore 的层面。 那么,对于字符级语言模型来说,这意味着它只是 对这些字符序列进行建模,并且它知道如何预测序列中的下一个 字符。 现在,我们实际上要实现大量字符级语言 模型,这些模型涉及用于预测序列中下一个 字符的神经网络。所以,有非常简单的二元组和词袋模型,多层 感知机,循环神经网络,一直到现代Transformer。 事实上,我们将要构建的Transformer基本上 等同于GPT-2,如果你听说过GPT的话。 呃,所以,这算是件大事。 这是一个现代网络,到本系列结束时,你实际上会理解 它是如何在字符级别上工作的。 现在,为了让你了解这里的扩展,呃,在字符之后,我们 可能会花些时间在词级别上,这样我们就能生成由词组成的文档, 而不仅仅是小的,你知道,字符片段。 呃,但我们可以生成整个大型的、大得多的文档。 然后我们可能会进入图像和图像文本呃网络,比如 DALL-E、Stable Diffusion等等。 但现在我们必须从这里开始,呃,字符级语言建模。 我们开始吧。所以,像之前一样,我们从一个完全空白的Jupyter笔记本 页面开始。第一件事是,我想基本上加载数据集names.txt。 所以,我们要打开names.txt进行读取。

HN 上的讨论

你做出了有趣的东西。这里已经有很多人回答过这个问题了[1],所以我再解释一遍也没意义。给你一些有用的提示:- [LINK] - 强烈推荐这个[VIDEO] - [LINK] - [LINK] 1:例如:[LINK] — georgehill, 2024-04
我发现 Andrej Karpathy 的 YouTube 系列在揭开 LLM 神秘面纱方面非常宝贵。特别是,他的“Makemore”视频以与 OP 相同的方式构建了一个基本的 LLM。它很长(2 小时),但如果有人对 LLM 的技术工作原理感到好奇,那非常值得花时间。[VIDEO] — islewis, 2024-02
供参考,这个项目来自 Eureka Labs,这是 Andrej Karpathy 新创办的教育初创公司。* [LINK] 它似乎是 bi-gram 项目的泛化版本,他在这里链接到了该项目:* [VIDEO] 看到他投入更多精力做教育工作很酷。这是他真正的天赋,早在他读研究生时的项目中就能看出来。 — caprock, 2024-07
这很美。实际上我一直在用 sqlite 深入这个兔子洞,我还没有深入到将神经网络引入其中。我受到 makemore 讲座系列的启发[0]。在大约 1 小时处,他从计数切换到使用神经网络,这差不多是我目前所达到的程度。将其分解为关系模型实际上是一个非常好的练习。[0] [VIDEO] — chrsig, 2024-02

相关视频