GPT 现状 | BRK216HFS
State of GPT | BRK216HFS
频道:Microsoft Developer · 时长:42:40 · 发布:2023-05-25 · 播放:787450
简介
Andrej Karpathy 详细介绍了 GPT 助手是如何训练的,从标记化和预训练到监督微调和 RLHF,并给出了实用的提示策略和对工具生态系统的看法。
HN 为什么推荐
推荐为关于 LLM 助手如何构建以及如何善用它们的最清晰概述。
它改变了我使用 GPT-4 的方式。 — HN, 2023
中文字幕节选
[音乐] 主持人:请欢迎AI研究员、 OpenAI创始成员Andrej Karpathy。 ANDREJ KARPATHY:大家好。我很高兴来到这里,向大家介绍GPT的现状, 更广泛地说,是快速成长的大型语言模型生态系统。 我想把演讲分为两部分。 在第一部分,我想告诉大家我们如何训练GPT助手, 然后在第二部分,我们将看看如何有效地使用 这些助手来服务于你们的应用。 首先,让我们看看训练这些助手的新兴配方, 请记住,这一切都非常新, 仍在快速发展, 但到目前为止,配方大致是这样的。 现在,这是一张复杂的幻灯片,我会逐一讲解, 但粗略地说,我们有四个主要阶段:预训练、 监督微调、奖励建模、强化学习, 它们依次进行。 现在,在每个阶段,我们都有一个驱动该阶段的数据集。 我们有一个算法,就我们的目的而言, 它是一个目标函数,用于训练神经网络, 然后我们得到一个结果模型,底部还有一些注释。 我们要开始的第一个阶段是预训练阶段。 现在,这个阶段在这张图中很特殊,这张图不是按比例绘制的,因为 这个阶段基本上是所有计算工作发生的地方。 这占了99%的训练计算时间和浮点运算量。 在这里,我们处理的是互联网规模的数据集,涉及数千 个GPU的超级计算机,可能还需要数月的训练。 其他三个阶段是微调阶段,更倾向于 使用少量GPU,耗时数小时或数天。 让我们看看预训练阶段,以获得基础模型。 首先,我们要收集大量数据。 这里有一个我们称之为数据混合的示例,来自 Meta发布的这篇论文,他们发布了这个基于LLaMA的模型。 现在,你可以大致看到进入这些集合的数据集。 我们有CommonCrawl,这是一个网页抓取,C4,也是CommonCrawl, 然后还有一些高质量的数据集。 例如,GitHub、Wikipedia、Books、Archives、Stock Exchange等等。 这些全部混合在一起,然后根据 给定的比例进行采样,形成GPT的训练集。 现在,在我们实际训练这些数据之前, 我们需要再经过一个预处理步骤,那就是分词。 这基本上是将我们从互联网抓取的原始文本翻译成 整数序列,因为这是GPT运作的 原生表示形式。 现在,这是文本片段与标记和整数之间的无损翻译, 这个阶段有多种算法。 通常,例如,你可以使用字节对编码之类的方法, 它迭代地合并文本块并将它们分组为标记。 这里,我展示了一些这些标记的示例块, 然后这是实际输入到transformer的原始整数序列。 现在,我展示两个控制这个阶段的混合参数示例。 GPT-4,我们没有发布太多关于它如何训练等信息, 我使用的是GPT-3的数字,但GPT-3当然有点老了, 到现在大约三年前。 但LLaMA是Meta的一个相当新的模型。 这些大致是我们在预训练时 所处理的量级。 词汇量通常是几万个标记。 上下文长度通常是2,000、4,000,或者现在甚至100,000,
HN 上的讨论
我强烈推荐观看Karpathy在Microsoft Build上的GPT现状视频,以了解LLM的工作原理。有一些非常好的提示想法。它改变了我使用GPT-4的方式。视频:[VIDEO] — sagarpatil, 2023-06
谢谢。这是 Karpathy 解释 LLM 训练不同阶段的演示。以适合初学者的形式解释了许多细节。[VIDEO] — tintor, 2025-02
听起来你想要更广泛的东西,不一定是学习如何训练模型。更像是学习使用它们以及它们如何工作。[LINK] 和 Fast.ai 的 Jeremy 的 Hacker's Guide to LLMs - [LINK] Karpathy 的 State of GPT - [VIDEO] 3b1b 的 LLMs - [LINK] 3b1b 的 Visualizing transformers - [LINK] How ChatGPT trained - [LINK] AI in a nutshell - [LINK] How Carlini uses LLMs - [LINK] 为了保持更新:X/Twitter 和 Bluesky。去关注在 OpenAI、Anthropic、Google DeepMind 和 xAI 工作的人。播客:No Priors、Generally Intelligent、Dw… — tikkun, 2024-11
我同意你的许多担忧和挫折,尽管我怀疑你所要求的东西他们视为一种护城河,类似于商业秘密,只有他们在1000到10000次训练运行、数百名工程师和(数亿?)计算资源上积累的性能改进技术能与之匹敌。在社区中,人们因清理数据的技能而被聘用和赞扬。对你来说这不是一个答案,但对好奇的其他人来说,10天前的[GPT现状]提供了对训练过程的全面介绍,Karpathy在微软活动上发言,深入总结回顾了概念、训练阶段以及在生成式预训练Transformer领域证明有用的技术。[GPT现状]:[VIDEO] — mcint, 2023-06
我认识到,在是否称之为“工程”的问题上有很多争议,但无论你怎么称呼它(提示调整?),如果你想从当前状态的LLM获得相当一致的输出,这些技术是至关重要的。随着模型的改进,对上下文窗口限制的担忧将减少,辨别用户意图将更容易。这些是很好的直截了当的指南:- BrexHQ的提示工程:[LINK] - OpenAI指南:[LINK] - [LINK] - (很好的例子):[LINK] - (约1小时)Karpathy演讲:[VIDEO] 摘要:- 从最好、最宽容的模型开始,必要时再优化。- 以清晰、具体和详细的方式编写提示 - 但要注意,包含更多细节与增加延迟或成本之间的权衡。- 如果你进行任何复杂的推理,让模型展示其工作,帮助“拉伸”计算到更多标记上 - 正确“转义”任何包含或引用的文本,以避免混淆模型。- 跟踪你的标记预算,考虑对话中的上下文窗口和响应长度。- 采用测量、调整和改进提示工程技术… — valgaze, 2023-06
相关视频
- - 创业公司 - David H. Hansson,37signals 合伙人 - TWiST #E337 · This Week in Startups · 1:38:37
- 增强照片真实感 · ISL and Collaborators · 8:33
- 第一讲 | 机器学习(斯坦福) · Stanford · 1:08:40
- 对话的隐藏规则 · Tom Scott · 5:32
- [1小时演讲] 大型语言模型入门 · Andrej Karpathy · 59:48
- A Hackers' Guide to Language Models · Jeremy Howard · 1:31:13
- 神经网络和反向传播的详细入门:构建micrograd · Andrej Karpathy · 2:25:52
- 但什么是神经网络?| 深度学习第一章 · 3Blue1Brown · 18:40
- AlphaGo - 电影 | 完整获奖纪录片 · Google DeepMind · 1:30:28
- Transformer,LLM 背后的技术 | 深度学习第 5 章 · 3Blue1Brown · 27:14
- USENIX Security '18-Q:为什么主题演讲者不断建议改进安全性是可能的? · USENIX · 51:22
- MarI/O - 视频游戏机器学习 · SethBling · 5:57
- 深入探讨 ChatGPT 等 LLM · Andrej Karpathy · 3:31:23
- 学会玩经典 NES 游戏的计算机程序 · suckerpinch · 16:17
- David Silver 强化学习课程 - 第一讲:强化学习导论 · Google DeepMind · 1:28:12
- 让我们从头构建 GPT:用代码,详细解释。 · Andrej Karpathy · 1:56:20