AI语言模型与Transformer - Computerphile

AI Language Models & Transformers - Computerphile

频道:Computerphile · 时长:20:39 · 发布:2019-06-26 · 播放:354480

在 YouTube 观看

简介

Rob Miles在Computerphile上解释了语言模型如何生成看似合理的文本,以及Transformer如何改进循环网络,并展望了未来。

HN 为什么推荐

被指出是对新手来说关于Transformer和注意力机制的易懂早期解释。

你也可以查看他关于NLP的其他视频,它们都很出色。 — HN, 2023

机器学习与深度学习 · 大语言模型与生成式 AI · 计算机视觉、语音与 NLP

中文字幕节选

所以我想做一个关于GPT-2的视频,因为它最近上了新闻 这个来自OpenAI的强大语言模型,我觉得 先做一个关于 Transformer和语言模型的视频是合理的,因为GPT-2是一个非常大的 语言模型,实现为Transformer,但你们之前有一个视频 关于生成YouTube评论,那是同一种任务,对吧? 那是一个语言建模任务,从语言处理到 生成新样本,用于冷却最复杂或最具磁性 一致的括号,像计算机预期的那样,在创建组织中发现 我相信那个视频是2017年10月制作的,而这篇 论文是2017年12月发表的,这有点 彻底改变了人们执行这类任务的方式。 那不是GPT-2,那是之前的东西,对吧? 那是Transformer,这是一个新领域。是的,相对较新的架构 用于神经网络,实际上可以做各种 任务,但它们特别擅长这种语言建模任务 语言模型是概率分布,比如序列的 标记或符号或单词或语言中的任何东西? 所以对于任何给定的标记序列,它可以告诉你那有多可能 所以如果你有一个好的英语语言模型 它可以查看一个你知道的单词或字符序列 或其他什么,并说出那在英语中出现的可能性有多大 那是一个英语短语或句子或其他什么的可能性有多大 当你有了这个,你可以用它做很多不同的任务。所以 如果你想生成文本,那么你可以直接 从那个分布中采样,并不断给它自己的输出 所以你采样一个单词,然后你说 澄清一下,从分布中采样意味着你只是 你有点在掷骰子,基于那个概率 分布,取出现的那个。所以 所以你可以采样一个单词,然后说好吧,以那个为条件,给定 这个句子的第一个单词是V 第二个单词的概率分布是什么样子的? 然后你从那个分布中采样,然后它就是你懂的 有一只猫,你说给定它是猫,什么 可能接下来出现,等等,所以你可以建立一个 文本字符串,通过从 你的分布中采样,这是你可以用它做的事情之一 我们大多数人都有这种例子,就在我们的口袋里, 它实际上绝对正确,那就像那就像 大多数人使用语言模型的方式 我想这是我经常开始一个句子的方式 显然是以我,我不确定你是否 有任何问题或疑虑,请访问 插件设置,这样我可以在未来第一次做,那不好 这里有一个不同的选项。让我们看看这个方式。也许一样 我在早上,但我找不到它在手机屏幕上,从手机屏幕上 在手机屏幕上,在手机屏幕上,在手机屏幕上 在手机屏幕上。我实际上不知道这是如何实现的 它可能是一个神经网络,但我的猜测是它是某种 像马尔可夫模型,马尔可夫链类型的设置,你只是 对于你语言中的每个单词,你查看你的 数据集,你看到某个特定的频率,每个其他单词 跟随那个单词的频率,然后你就这样建立你的分布 所以就像对于单词“我”,最常见的跟随 是“是”,还有一些其他的,你知道 所以这是一个非常简单的模型, 这个句子在手机屏幕上,在手机屏幕上,在 手机屏幕上,在手机屏幕上,在手机屏幕上 他实际上非常不可能,对吧?

HN 上的讨论

如果你想更好地理解这一点,我建议在一些引擎的“聊天游乐场”中尝试。谷歌的那个允许一些免费使用,然后才需要支付代币。(通常你可以最低购买价值5美元的代币,这足够你手动请求使用很久。)[LINK] 这个UI允许你修改系统提示(在例如ChatGPT中通常对用户隐藏),并切换到不同的模型和更改参数。然后你像任何其他网站一样给它聊天输入。你也可以安装像“LM Studio”这样的程序,它允许你(通过UI)下载模型并在自己的机器上本地运行。这给你一个类似于你在Google AI Studio中看到的界面,但你在本地运行它。并且使用下载的模型。(你下载的模型是实际的LLM,基本上是非常大量的参数,你将其与输入令牌结合以获得系统输出的下一个令牌。)对于这些系统做什么的更基本介绍,有许多Computerphile视频非常有信息量。不幸的是,我找不到一个包含所有视频的好播放列表,但这里有一个早期的。(Rob… — mhast, 2025-02
Rob Miles的那些Computerphile视频[0]帮助我理解了transformers。他特别引用了“Attention is all you need”论文。对于更深入的了解,Andrej Kharpaty有这个动手视频[1],他从头构建了一个transformer。你也可以查看他关于NLP的其他视频,它们都很棒。[0] [VIDEO] ,[LINK] [1] [LINK] — FranklinMaillot, 2023-05
Computerphile的这个视频很好地概述了transformers以及我们如何走到这一步[0]。基本上,我们之前使用的网络,即循环神经网络,“忘记”了先前的信息,所以它们不擅长长任务。然而,transformer架构不会忘记(或者至少不那么容易忘记)。[0] [VIDEO] — cercatrova, 2022-08

相关视频