GPT 现状 | BRK216HFS

State of GPT | BRK216HFS

频道:Microsoft Developer · 时长:42:40 · 发布:2023-05-25 · 播放:787450

在 YouTube 观看

简介

Andrej Karpathy 详细介绍了 GPT 助手是如何训练的,从标记化和预训练到监督微调和 RLHF,并给出了实用的提示策略和对工具生态系统的看法。

HN 为什么推荐

推荐为关于 LLM 助手如何构建以及如何善用它们的最清晰概述。

它改变了我使用 GPT-4 的方式。 — HN, 2023

机器学习与深度学习 · 大语言模型与生成式 AI

中文字幕节选

[音乐] 主持人:请欢迎AI研究员、 OpenAI创始成员Andrej Karpathy。 ANDREJ KARPATHY:大家好。我很高兴来到这里,向大家介绍GPT的现状, 更广泛地说,是快速成长的大型语言模型生态系统。 我想把演讲分为两部分。 在第一部分,我想告诉大家我们如何训练GPT助手, 然后在第二部分,我们将看看如何有效地使用 这些助手来服务于你们的应用。 首先,让我们看看训练这些助手的新兴配方, 请记住,这一切都非常新, 仍在快速发展, 但到目前为止,配方大致是这样的。 现在,这是一张复杂的幻灯片,我会逐一讲解, 但粗略地说,我们有四个主要阶段:预训练、 监督微调、奖励建模、强化学习, 它们依次进行。 现在,在每个阶段,我们都有一个驱动该阶段的数据集。 我们有一个算法,就我们的目的而言, 它是一个目标函数,用于训练神经网络, 然后我们得到一个结果模型,底部还有一些注释。 我们要开始的第一个阶段是预训练阶段。 现在,这个阶段在这张图中很特殊,这张图不是按比例绘制的,因为 这个阶段基本上是所有计算工作发生的地方。 这占了99%的训练计算时间和浮点运算量。 在这里,我们处理的是互联网规模的数据集,涉及数千 个GPU的超级计算机,可能还需要数月的训练。 其他三个阶段是微调阶段,更倾向于 使用少量GPU,耗时数小时或数天。 让我们看看预训练阶段,以获得基础模型。 首先,我们要收集大量数据。 这里有一个我们称之为数据混合的示例,来自 Meta发布的这篇论文,他们发布了这个基于LLaMA的模型。 现在,你可以大致看到进入这些集合的数据集。 我们有CommonCrawl,这是一个网页抓取,C4,也是CommonCrawl, 然后还有一些高质量的数据集。 例如,GitHub、Wikipedia、Books、Archives、Stock Exchange等等。 这些全部混合在一起,然后根据 给定的比例进行采样,形成GPT的训练集。 现在,在我们实际训练这些数据之前, 我们需要再经过一个预处理步骤,那就是分词。 这基本上是将我们从互联网抓取的原始文本翻译成 整数序列,因为这是GPT运作的 原生表示形式。 现在,这是文本片段与标记和整数之间的无损翻译, 这个阶段有多种算法。 通常,例如,你可以使用字节对编码之类的方法, 它迭代地合并文本块并将它们分组为标记。 这里,我展示了一些这些标记的示例块, 然后这是实际输入到transformer的原始整数序列。 现在,我展示两个控制这个阶段的混合参数示例。 GPT-4,我们没有发布太多关于它如何训练等信息, 我使用的是GPT-3的数字,但GPT-3当然有点老了, 到现在大约三年前。 但LLaMA是Meta的一个相当新的模型。 这些大致是我们在预训练时 所处理的量级。 词汇量通常是几万个标记。 上下文长度通常是2,000、4,000,或者现在甚至100,000,

HN 上的讨论

我强烈推荐观看Karpathy在Microsoft Build上的GPT现状视频,以了解LLM的工作原理。有一些非常好的提示想法。它改变了我使用GPT-4的方式。视频:[VIDEO] — sagarpatil, 2023-06
谢谢。这是 Karpathy 解释 LLM 训练不同阶段的演示。以适合初学者的形式解释了许多细节。[VIDEO] — tintor, 2025-02
听起来你想要更广泛的东西,不一定是学习如何训练模型。更像是学习使用它们以及它们如何工作。[LINK] 和 Fast.ai 的 Jeremy 的 Hacker's Guide to LLMs - [LINK] Karpathy 的 State of GPT - [VIDEO] 3b1b 的 LLMs - [LINK] 3b1b 的 Visualizing transformers - [LINK] How ChatGPT trained - [LINK] AI in a nutshell - [LINK] How Carlini uses LLMs - [LINK] 为了保持更新:X/Twitter 和 Bluesky。去关注在 OpenAI、Anthropic、Google DeepMind 和 xAI 工作的人。播客:No Priors、Generally Intelligent、Dw… — tikkun, 2024-11
我同意你的许多担忧和挫折,尽管我怀疑你所要求的东西他们视为一种护城河,类似于商业秘密,只有他们在1000到10000次训练运行、数百名工程师和(数亿?)计算资源上积累的性能改进技术能与之匹敌。在社区中,人们因清理数据的技能而被聘用和赞扬。对你来说这不是一个答案,但对好奇的其他人来说,10天前的[GPT现状]提供了对训练过程的全面介绍,Karpathy在微软活动上发言,深入总结回顾了概念、训练阶段以及在生成式预训练Transformer领域证明有用的技术。[GPT现状]:[VIDEO] — mcint, 2023-06
我认识到,在是否称之为“工程”的问题上有很多争议,但无论你怎么称呼它(提示调整?),如果你想从当前状态的LLM获得相当一致的输出,这些技术是至关重要的。随着模型的改进,对上下文窗口限制的担忧将减少,辨别用户意图将更容易。这些是很好的直截了当的指南:- BrexHQ的提示工程:[LINK] - OpenAI指南:[LINK] - [LINK] - (很好的例子):[LINK] - (约1小时)Karpathy演讲:[VIDEO] 摘要:- 从最好、最宽容的模型开始,必要时再优化。- 以清晰、具体和详细的方式编写提示 - 但要注意,包含更多细节与增加延迟或成本之间的权衡。- 如果你进行任何复杂的推理,让模型展示其工作,帮助“拉伸”计算到更多标记上 - 正确“转义”任何包含或引用的文本,以避免混淆模型。- 跟踪你的标记预算,考虑对话中的上下文窗口和响应长度。- 采用测量、调整和改进提示工程技术… — valgaze, 2023-06

相关视频