GPT3:一个更大的语言模型 - Computerphile
GPT3: An Even Bigger Language Model - Computerphile
频道:Computerphile · 时长:25:56 · 发布:2020-07-01 · 播放:446444
简介
Rob Miles 在 Computerphile 上讨论 GPT-3,涵盖扩大参数规模如何持续改善结果(相比 GPT-2),以及该模型几乎学会了算术,却无人确切知道其原理。
HN 为什么推荐
HN 评论者引用它作为 GPT-3 发布时对其规模跃升和惊人能力的简明解释。
Computerphile 在 GPT-3 发布时总结得相当好 — HN, 2023
中文字幕节选
Rob,欢迎回到Computerphile,在这个我们发现自己身处其中的奇怪时期 录制时你那边有绿幕,我们遇到了一些通信延迟问题 那么你今天要讲什么呢?呃,是的,我 想呃,今天讲GPT-3会很有意义,因为之前我们做过那些 关于语言模型、Transformer和GPT-2的视频,大家似乎挺喜欢的,我觉得 那些视频效果不错,现在有了新的一个,所以它是不是 变得更好了?那到底是怎么回事呢?它既更大又更好,这就是 呃,这就是标题。所以就像GPT-2那件事 就是它比之前任何东西都大得多,对吧?它有更多 参数,呃,只是一个更大的语言模型,而这差不多就是那篇论文的 重点,对吧?它想表达的重点是,自然语言 处理领域的人们花了极长的时间研究所有这些巧妙的 方法,呃,深入技术细节,比如针对他们拥有的不同基准 进行详细的微调等等 呃,而GPT-2就是OpenAI在说,如果我们只是做一个真正 真正巨大的一个会发生什么,结果发现即使没有任何微调 我的意思是,嗯,我们之前都讨论过这些,所以我就不深入那个 细节了,但就像,嗯,GPT-2 能在所有这些 不同任务上表现得相当不错,尽管它没有在这些任务上训练过,它只是 纯粹作为语言模型训练的,这意味着它所做的只是预测下一个 单词或下一个标记,基于它目前看到的内容,嗯,所以那是一种 有趣的发现,如果你只是采用这种相当简单的架构, Transformer 并不是一个很复杂的架构,嗯,而数据集 也不是什么花哨或复杂的东西,它不是那种高度,嗯,我在说什么呢,它 不是那种高投入的结构化数据集,它只是一大堆文本, 你试图确保它是高质量的文本,但它只是非结构化的, 只是你能从互联网上获取的任何文本,而它能够表现得相当 好,有时是最先进的,有时不是,在所有这些特定的 针对不同自然语言处理任务的基准测试上,那非常 令人印象深刻,我想我当时说过这个 那些曲线仍在向上弯曲,就像我们说的,不是向上弯曲, 而是直线上升,它们没有向下弯曲。所以一般来说, 你开始遇到收益递减,对吧?你不能只是无限地让模型变大, 随着模型越来越大,它会趋于平稳。是的,就是这样, 你通常预期它会趋于平稳,但在GPT-2的规模上并没有。所以 不仅这个模型比之前任何模型都大,而且还有迹象表明, 仅仅扩大规模,我们还没有达到那个极限。 嗯,这有点令人惊讶,因为是的,因为你通常会 预期这些东西会趋于平稳,对吧?你会预期达到数据的极限, 比如数据中包含的信息、数据集大小,但也可能 训练方式,也许整个方法。就像你能建造的最大的飞机, 它很大,但总有一个点,飞机的方法 不再有效,如果你想飞得更高,你需要火箭,对吧?你需要 一种完全不同的方法,你不能只是扩大你现有的东西。他们 在GPT-2中发现的是,你不仅可以让模型大得多,而且它 继续变得更好,而且它继续变好的速率 与较小模型的扩展仍然几乎是一条直线。所以从
HN 上的讨论
也许可以问问你最喜欢的语言模型有什么建议。他们说这是所有问题的答案,有点像 42。我的观点在这里:[VIDEO]——他们解释说 GPT-3(几乎)学会了加法和乘法,但不知道是怎么学会的。对我来说,这就是关键。(洞见出现在 12:29、15:23)在某种意义上,这有点像承认我们根本不知道到底发生了什么。 — MichaelMoser123, 2023-02
> 2018 年没有人想到,大型语言模型仅仅通过增加参数数量就能顺利扩展。[LINK] 这差不多就是 GPT-2 的全部意义所在。Computerphile 在 GPT-3 发布时总结得相当好:[VIDEO] 以下是该视频中的一些引述:“GPT-2 的特点就是它比之前任何东西都大得多。它有更多参数,而这正是那篇论文的重点。”……“他们制作 GPT-2 是因为曲线没有趋于平缓。我们已经比 GPT-2 大了 117 倍,而它们仍然没有趋于平缓。” — CSMastermind, 2023-01
整个行业盲目相信神经算法会以某种方式变成“AI”,为此集体投入了难以计数的数十亿美元。GPT-2 和 GPT-3 之间巨大的质量差异似乎表明,只要继续增加几个数量级的连接和数据,它们就会实现。[VIDEO] — stcredzero, 2021-08
昨天我看了一个关于 GPT3 的 YouTube 视频([VIDEO]),里面展示了两首诗。一首是人写的,另一首是 AI 根据那个人的诗训练后写的。两首诗都相当不错。但其中一首有一个关于月亮倒映在海浪中、被扭曲并呈现出怪物形态的隐喻。我猜这一定是人写的,这是对一个非常真实的体验(月亮在海面上的倒影如何呈现)的新颖描述(因为是隐喻)。 — tripzilch, 2020-07
你的第一点实际上在 Computerphile 关于 GPT-3 的视频中已经涵盖了。他们讨论了一篇研究 GPT-3 做算术能力的论文,因为这是学习文本数据库的一部分。看看吧 [VIDEO] — ChrisRR, 2020-07
相关视频
- 神经网络和反向传播的详细入门:构建micrograd · Andrej Karpathy · 2:25:52
- 但什么是神经网络?| 深度学习第一章 · 3Blue1Brown · 18:40
- AlphaGo - 电影 | 完整获奖纪录片 · Google DeepMind · 1:30:28
- Transformer,LLM 背后的技术 | 深度学习第 5 章 · 3Blue1Brown · 27:14
- USENIX Security '18-Q:为什么主题演讲者不断建议改进安全性是可能的? · USENIX · 51:22
- 第一讲 | 机器学习(斯坦福) · Stanford · 1:08:40
- MarI/O - 视频游戏机器学习 · SethBling · 5:57
- 深入探讨 ChatGPT 等 LLM · Andrej Karpathy · 3:31:23
- 学会玩经典 NES 游戏的计算机程序 · suckerpinch · 16:17
- David Silver 强化学习课程 - 第一讲:强化学习导论 · Google DeepMind · 1:28:12
- 让我们从头构建 GPT:用代码,详细解释。 · Andrej Karpathy · 1:56:20
- 湾区视觉会议:无监督特征学习和深度学习 · Google TechTalks · 48:10
- A Hackers' Guide to Language Models · Jeremy Howard · 1:31:13
- 安德烈·卡帕西 - 特斯拉全自动驾驶的人工智能 · Matroid · 30:08
- [1小时演讲] 大型语言模型入门 · Andrej Karpathy · 59:48
- Joscha Bach:人工意识与现实本质 | Lex Fridman 播客 #101 · Lex Fridman · 3:00:18