[1小时演讲] 大型语言模型入门

[1hr Talk] Intro to Large Language Models

频道:Andrej Karpathy · 时长:59:48 · 发布:2023-11-23 · 播放:4396545

在 YouTube 观看

简介

安德烈·卡帕西进行了一小时面向大众的大型语言模型介绍,涵盖它们是什么、如何训练、与操作系统的比较,以及越狱等安全挑战。

HN 为什么推荐

HN推荐它作为理解LLM的密集且平易近人的起点,并常引用其中关于扩展和训练的具体说法。

从他的LLM简短介绍开始,只有1小时长,但充满了有价值的内容 — HN, 2024

机器学习与深度学习 · 大语言模型与生成式 AI

中文字幕节选

大家好,最近我做了个30分钟关于大语言模型的演讲, 算是个入门介绍。可惜那次演讲没有录像,但很多 人听完后过来跟我说,他们真的很喜欢这个演讲, 所以我想干脆重新录一遍,基本上就是放到 YouTube上。那么开始吧,忙碌人士的大语言模型入门。导演 Scott。好,我们开始。首先,什么是大语言模型?其实 大语言模型就是两个文件。在这个假设的目录里 会有两个文件。举个例子,以Llama 270b模型为例,这是Meta AI发布的一个大语言模型,基本上 是Llama系列语言模型的第二代,这是该系列中 700亿参数的模型。所以Llama 2系列有多个模型, 包括70亿、130亿、340亿和700亿参数, 700亿是最大的那个。很多人特别喜欢这个模型,因为 它可能是目前最强大的开放权重模型。基本上权重、 架构和论文都由Meta发布了,所以任何人都可以 很容易地自己使用这个模型。这和你 可能熟悉的其他语言模型不同,比如如果你用ChatGPT之类的, 模型架构从未发布,它归OpenAI所有,你 只能通过网页界面使用这个语言模型,但并不能 真正访问那个模型。所以在这个例子中,Llama 270b模型真的只是 你文件系统上的两个文件:参数文件和运行那些参数的某种代码。 参数基本上就是权重,或者说 这个神经网络语言模型的参数,我们稍后会详细讲。 因为这是个700亿参数的模型,每个参数 存储为2字节,所以这里的参数文件是140GB。 用2字节是因为数据类型是float16。现在,除了 这些参数——那只是神经网络的一大串参数—— 你还需要能运行这个神经网络的东西,这段代码 就实现在我们的运行文件里。这可以是C文件、Python文件或任何 其他编程语言,真的可以用任意语言写,但C 算是很简单的语言,让你有个概念。实现这个 神经网络架构只需要大约500行C代码,没有其他依赖, 它基本上就是用这些参数来运行 模型。所以就只有这两个文件。你可以拿走这两个文件,带上 你的MacBook,这就是一个完全自包含的包,这就是所有 必要的东西。你不需要连接互联网或其他任何东西。你可以 拿走这两个文件,编译你的C代码,得到一个二进制文件,指向 参数,然后就能和这个语言模型对话。比如你可以发送 文本,比如“写一首关于Scale AI公司的诗”,这个语言 模型就会开始生成文本,在这个例子中它会遵循指令, 给你一首关于Scale AI的诗。我在这里拿Scale AI举例, 你会在整个演讲中看到,是因为我最初 做这个演讲的活动是由Scale AI举办的,所以我 在整个幻灯片中稍微拿他们举例, 只是为了让内容更具体。这就是我们运行模型的方式,只需要两个文件,只需要 一台MacBook。我这里稍微作弊了,因为就这个 视频的速度而言,这实际上并没有运行700亿参数的模型, 只运行了70亿参数的模型。70b会慢大约10倍,

HN 上的讨论

Andrej Karpathy 在 YouTube 上的所有内容都是绝对顶级的。他是其领域内一位罕见的杰出贡献者,同时也是一位同样杰出的教育者。从他关于 LLM 的简短介绍开始,只有 1 小时长,但充满了有价值的内容:[VIDEO] — mindwok, 2024-06
简短的回答是:不会。我强烈推荐观看 Andrej Karpathy 的 LLM 入门演讲,特别是关于系统 1 与系统 2 思维的部分。长话短说,你所描述的——用更多处理来准备更好的回答——是一个受关注的领域,但目前并不是 ChatGPT(或我所知道的任何其他 LLM)的一部分。参见:[VIDEO] — FlyingAvatar, 2024-02
Andrej Karpathy 在 YouTube 上的“Zero to Hero”系列是构建大型语言模型的终极指南。信息密度极高,但尽可能完整:[LINK] 另外,他几天前发布的一个关于大型语言模型的精彩高层概述,包括对攻击向量的广泛讨论:[VIDEO] — shrimpx, 2023-11
权重只是数字。我不知道你在计算其他领域有什么技术背景,但我认为这是一个很好的简短介绍,不会假设太多:[LINK] 引用其中的一部分,训练模型可以看作是调整一个非常大的机器上的旋钮。语言模型的行为完全由这些许多不同的连续值决定,通常称为参数或权重。更长且稍微更技术性的,Andrej Karpathy 的“大型语言模型简介”:[VIDEO] — philipkglass, 2026-06
研究一下训练过程——[VIDEO] 初始预训练阶段的目标是让它擅长预测下一个词。训练过程的其余部分旨在让它(1)有用,(2)尽可能正确。我认为有些人把 LLM 过度简化为“下一个 token 预测器”,而忽略了朝向有用性和正确性的调优。 — sk11001, 2024-04

相关视频