让我们从头构建 GPT:用代码,详细解释。

Let's build GPT: from scratch, in code, spelled out.

频道:Andrej Karpathy · 时长:1:56:20 · 发布:2023-01-17 · 播放:8348985

在 YouTube 观看

简介

Andrej Karpathy 用代码从头构建 GPT,遵循《Attention Is All You Need》和 GPT-2/3,使用 PyTorch 约两小时。他将其与 ChatGPT 联系起来,并假设观众熟悉他之前的 makemore 视频。

HN 为什么推荐

这是学习 transformer 和 LLM 实际工作原理的首选推荐,因其清晰和 Karpathy 的教学而受赞誉。

我看过的关于这个主题最好的视频 — HN, 2023

机器学习与深度学习 · 大语言模型与生成式 AI

中文字幕节选

大家好,到现在你们可能已经听说过 ChatGPT 了,它已经席卷了全世界和 AI 社区,它是一个让你能与 AI 交互并 给它基于文本的任务的系统,比如我们可以让 ChatGPT 给我们写一首关于 人们理解 AI 有多重要,然后他们可以用它来 改善世界、让它更繁荣的小诗。所以当我们运行这个,AI 知识 为所有人带来繁荣,拥抱它的力量。好吧,还不错,所以你可以看到 ChatGPT 从左到右生成所有这些词,有点 按顺序生成。现在我之前已经用完全相同的提示问过它了, 它生成了稍微不同的结果:AI 的力量增长,无知阻碍我们, 学习繁荣的重量。所以两种情况都相当不错,而且略有不同,所以 你可以看到 ChatGPT 是一个概率系统,对于任何一个提示它都可以 给我们多个答案,有点像在回复它。现在这只是一个 人们提出的问题的例子,人们想出了很多很多例子,还有整个网站 索引与 ChatGPT 的交互,其中很多都相当幽默。像对狗一样向我解释 HTML,为国际象棋 2 写发布说明,写一篇关于埃隆 马斯克收购 Twitter 的笔记等等。举个例子,请写一篇 关于一片叶子从树上掉下来的突发新闻文章。令人震惊的转折,一片叶子 从当地公园的树上掉下来了。目击者报告说,这片叶子之前 附着在树枝上,它自己附着并掉到了地上。 非常戏剧化。所以你可以看到这是一个相当了不起的系统,这就是 我们所说的语言模型,因为它对单词序列或 更一般地字符或标记进行建模,它知道单词在英语中如何 相互跟随,所以从它的角度来看,它所做的就是完成 序列。所以我给它一个序列的开头,它用结果完成序列, 所以从这个意义上说它是一个语言模型。现在我想专注于 ChatGPT 工作的底层组件,那么 底层对单词序列进行建模的神经网络是什么, 这来自这篇 2017 年的论文《Attention Is All You Need》,一篇里程碑式的论文, AI 领域的里程碑论文,它提出并提出了 Transformer 架构。所以 GPT 是生成式预训练 Transformer 的缩写,所以 Transformer 是 实际上在底层完成所有繁重工作的神经网络,它来自 这篇 2017 年的论文。现在如果你读这篇论文,它读起来像一篇相当随机的 机器翻译论文,那是因为我认为作者们没有完全 预料到 Transformer 会对该领域产生的影响,而他们 在机器翻译背景下产生的这个架构,在他们的情况下, 实际上在接下来的 5 年里接管了 AI 的其余部分。所以 这个架构经过微小改动被复制粘贴到 近年来 AI 的大量应用中,包括 ChatGPT 的核心。 现在我们不打算——我现在想做的是构建一个类似 ChatGPT 的东西,但当然我们无法复现 ChatGPT,这 是一个非常严肃的生产级系统,它在相当一部分 互联网上训练,然后有很多预训练和微调阶段, 所以它非常复杂。我想专注于只是训练一个基于

HN 上的讨论

+1,Andrey是一位了不起的教育者!我也推荐他的[VIDEO]并查看他的GitHub仓库。例如,MinGPT实现了一个与HF API兼容的小型GPT模型,而更现代的nanoGPT展示了如何使用新特性,如flash attention。每个视频、每篇博客文章的质量都非常高。 — villedespommes, 2024-01
特斯拉AI总监Andrej Karpathy发布了一个关于当前模型如何构建的精彩视频,我认为科技领域的每个人都应该观看。它直观易懂,坦率地说,是我看过关于这个主题的最好的视频。链接如下:[VIDEO] 如果你在观看后得出结论,认为智能的全部就是这些——即一系列级联优化和数据结构问题串联在一起,那么你和其他许多人将永远无法达成共识。这并不是说你错了,只是似乎这里缺少了一个我们尚未发现的组件。 — wesammikhail, 2023-05
非常令人印象深刻。最近我看了 Karpathy 关于从零构建 GPT 的精彩讲座,我被震撼到了:[VIDEO] — durdn, 2023-02
很棒的合集,如果能加入 Vision Transformer (ViT) 就更好了。Andrej Karpathy 的 GPT 视频是必看的配套资料 [VIDEO] 我之前一直搞不懂 Key、Query、Position 和 Value,直到 Andrej 给我讲清楚了。 — yonz, 2023-01
当时Attention is all you need和GPT-2已经广为人知。许多人可能怀疑这种方法是否能通向“通用”智能——这取决于定义。顺便说一句,Karpathy有一个关于构建LLM的很好的视频教程:[VIDEO] — yreg, 2024-12

相关视频