深入探讨 ChatGPT 等 LLM
Deep Dive into LLMs like ChatGPT
频道:Andrej Karpathy · 时长:3:31:23 · 发布:2025-02-05 · 播放:10669343
简介
Andrej Karpathy 的三个多小时的面向大众的深度探讨,介绍了 ChatGPT 风格的 LLM 是如何构建的,涵盖了从预训练到后训练的完整训练栈。还提供了关于其特性(如幻觉)的心智模型,以及如何善用它们。
HN 为什么推荐
HN 最常推荐的、无需大量数学即可清晰易懂地理解 LLM 工作原理的基础资料。
我强烈推荐 Andrej Karpathy 的《深入探讨 ChatGPT 等 LLM》 — HN, 2026
中文字幕节选
大家好,我早就想做这个视频了,这是一个全面但 面向普通观众的大语言模型介绍,比如 ChatGPT,我 希望在这个视频中实现的是,给你们一些思维模型来思考 这个工具到底是什么,它在某些方面显然是神奇而惊人的, 它在某些事情上非常擅长,在其他事情上则不那么好, 而且还有很多尖锐的边缘需要注意,那么这个文本框背后是什么,你 可以在里面输入任何内容并按回车,但我们应该输入什么, 这些生成的文字又是什么,这是如何工作的,你到底在 和什么对话,所以我希望在这个视频中涵盖所有这些话题,我们将 走一遍这些东西是如何构建的整个流程,但我会让 一切对普通观众来说都易于理解,所以让我们先看看 如何构建像 ChatGPT 这样的东西,在此过程中我会谈到 这些工具的一些认知心理学含义,好了, 让我们来构建 ChatGPT,会有多个阶段按顺序排列, 第一个阶段叫做预训练阶段,预训练阶段的 第一步是下载并处理互联网,现在要了解 这大致是什么样子,我建议看看这个 URL,所以这家 叫做 Hugging Face 的公司收集、创建并整理了名为 FineWeb 的数据集,他们在这篇博客文章中详细介绍了他们如何构建 FineWeb 数据集,所有主要的 LLM 提供商,如 OpenAI、Anthropic 和 Google 等,内部都会有类似 FineWeb 数据集的等价物,所以大致上我们想在这里实现什么,我们想从 互联网上从公开可用的来源获取大量文本,所以我们想拥有 大量非常高质量的文档,我们也想要非常多样的 文档,因为我们想在这些模型中拥有大量知识,所以我们 想要大量多样的高质量文档,而且我们想要很多很多, 实现这一点相当复杂,正如你在这里看到的,需要多个阶段 才能做好,所以让我们稍后看看其中一些阶段是什么样子, 现在我只想指出,例如 FineWeb 数据集,它 相当具有代表性,你在生产级应用中会看到的,实际上 最终只有大约 44 TB 的磁盘空间,你可以很容易地买到 1 TB 的 USB 盘,或者我认为这几乎可以装在一个硬盘上 所以归根结底这不是一个巨大的数据量,即使互联网 非常非常大,我们处理的是文本,而且我们还进行了积极的过滤, 所以在这个例子中我们最终得到大约 44 TB,所以让我们看看 这些数据是什么样子,以及其中一些阶段是什么,所以 很多这些工作的起点,以及最终贡献大部分 数据的东西,是来自 Common Crawl 的数据,所以 Common Crawl 是一个组织, 基本上从 2007 年就开始爬取互联网,所以例如截至 2024 年, Common Crawl 已经索引了 27 亿个网页,他们有所有这些爬虫 在互联网上到处爬,你基本上要做的是从 几个种子网页开始,然后跟随所有链接,你就一直跟随 链接,不断索引所有信息,最终你得到大量 互联网数据,随着时间的推移,所以这通常是很多这些
HN 上的讨论
即使你对LLM的工作原理有一些基本了解,我也强烈推荐Karpathy在YouTube上的LLM入门视频。- [VIDEO] - [LINK] — etothet, 2026-03
我强烈推荐Andrej Karpathy的深入探讨像ChatGPT这样的LLM:[VIDEO]。这是一个3.5小时的主题通用介绍,我认为它非常出色地解释了这项技术以及它在底层是如何工作的,而不需要建立数学和编程基础。 — romanhn, 2026-02
这就像LLM时代的搜索气泡,阻止人们对表面上相同的搜索获得相同的结果。还要记住,LLM本质上是随机的。如果你还没看过,Karpathy那部出色的“深入探讨像ChatGPT这样的LLM”视频[0]相当好地解释并演示了这一点:[0] [VIDEO] — pengaru, 2025-11
既然你在这里发帖,你是在寻找捷径。捷径是 Karpathy 的“让我们从零开始,用代码,详细构建 GPT”视频:[LINK] 然后有一个很好的视频深入探讨 LLM 及其工作原理,非常平易近人:[VIDEO] 从那里开始,用他的其他视频来充实知识,他既讲得极其浅显又极其深入:[LINK] 总之,我非常喜欢 Karpathy 的视频,因为他非常擅长在各个层面解释 LLM。 — runjake, 2025-10
取决于你有多少时间,我首先推荐观看 Karpathy 的“深入探索 LLM”视频([VIDEO])。虽然长达 3.5 小时,但它会让你对这些东西的工作原理产生大量直觉理解,很可能为你节省大量时间。纯粹从技术角度来看,事情其实并不那么难。我建议你为所有主要提供商(因为每个前沿 LLM 显然都有自己的优势和劣势)注册一个 API 账户,并开始用你的数据进行实验。当你第一次得到 API 响应时的感觉会让你坚持下去!:) 话虽如此,需要注意的是,LLM 有时会产生幻觉。如果你的数据需要准确性,绝对不要“把所有东西都扔给 LLM 让它们完成工作”,但我相信你会通过试错找到方法。祝你好运! — GodelNumbering, 2025-04
相关视频
- Transformer,LLM 背后的技术 | 深度学习第 5 章 · 3Blue1Brown · 27:14
- DBS 对帕金森病运动症状的影响 · Andrew Johnson · 4:03
- David Deutsch:解释解释的新方法 · TED · 17:15
- 经典游戏事后剖析 - 另一个世界 · GDC Festival of Gaming · 1:05:45
- 经典游戏事后剖析:鬼屋魔影 · GDC Festival of Gaming · 57:43
- 乔治·卡林 - 细菌、免疫系统 · Geen Naam · 6:27
- 这就是胜利的样子(完整版) · VICE · 1:29:10
- 马修·菲利普斯博士——‘代谢策略作为癌症和神经退行性疾病的疗法’ · Low Carb Down Under · 27:20
- John Carmack:最佳编程设置和IDE | Lex Fridman播客片段 · Lex Clips · 15:20
- 《连线》杂志 1996 年采访比尔·盖茨 · Kevin Kelly · 52:30
- 模拟整个汽车引擎(是的,它会发出声音) · AngeTheGreat · 12:03
- Obsidian 入门:从这里开始——如何使用 Obsidian 应用做笔记 · Linking Your Thinking with Nick Milo · 12:27
- [1小时演讲] 大型语言模型入门 · Andrej Karpathy · 59:48
- 神经网络和反向传播的详细入门:构建micrograd · Andrej Karpathy · 2:25:52
- 但什么是神经网络?| 深度学习第一章 · 3Blue1Brown · 18:40
- AlphaGo - 电影 | 完整获奖纪录片 · Google DeepMind · 1:30:28