Rob Miles谈ChatGPT - Computerphile
ChatGPT with Rob Miles - Computerphile
频道:Computerphile · 时长:36:01 · 发布:2023-02-01 · 播放:517588
简介
Computerphile采访AI安全研究员Rob Miles,讨论ChatGPT:它如何通过人类反馈训练,为什么它倾向于产生自信的废话,以及它可能或不可能危险的地方。
HN 为什么推荐
HN评论者将其发送给对ChatGPT的怪癖感到困惑的人,解释人类反馈训练如何使其成为一个令人愉快的应声虫,胡说八道。
这个视频[1]为我澄清了很多关于我在ChatGPT上看到的问题的疑问。 — HN, 2023
中文字幕节选
好吧,你还记得不久前我们开始谈论语言模型的时候,我 只是想,我有点想先声明一下,基本上就是说,嘿,记得 几年前我就说过,我认为语言模型非常重要,而且我认为 当我们扩大它们的规模时会发生什么很有趣,但 对齐非常重要,嗯,现在看来似乎正在上演,因为 呃,ChatGPT 非常令人印象深刻,但实际上它并不像,我不认为它 在参数数量上比 GPT-3 更大。嗯,我正想问这个非常 非常问题,因为你知道我们从 GPT-2 到 GPT-3, 看起来我们一直在扩大规模,但实际上这次只是 更聪明了吗?是的,从某种意义上说它更好, 对齐更好,这是你可以框定它的一种方式,因为原来的 GPT-3 是一个语言模型,一个纯粹的语言模型,嗯,所以它原则上 可以做各种事情,但为了让它做你想要的特定事情, 你必须有点聪明,就像我们谈过的,嗯, 在东西前面加上 tldr 来弄清楚如何让它进行摘要, 这种事儿。从某种意义上说,它比表现出来的能力要强得多, 嗯,因为好吧,有一种方式你可以思考纯语言模型, 就是作为模拟器,它们试图做的是预测文本,对吧, 所以为了在预测文本方面做得好,你需要 对生成文本的过程有好的模型。就像人们要博学 需要读很多书才能写作,这样说公平吗,还是过于简化了? 是的,不完全是我想说的。我想说的是, 如果你要写一首以前 未见过的莎士比亚的诗,那么你需要能够 模拟一个莎士比亚,呃,你需要能够启动一些 莎士比亚的模拟体,呃,来生成这个文本,这适用于任何 生成文本的过程,所以主要来说那是人,显然主要是 人类创作的文本,但如果你要正确预测,嗯,一个数字 表格,比如你有一个数字表格,然后在底部写着,你知道, 求和之类的,你需要模拟生成下一个 token 的任何过程,以便 在那里放上正确的 token,这可能是一个人在 计算它们,但更可能是一台计算机,所以你需要它 模拟那个,你知道,计算器或那个 Excel 的某个函数之类的, 不管是什么在做那个,就像现在 呃,当前的语言模型在这方面并不那么好,嗯,但 原则上为了在这方面做得好,你需要这个,就像它会 尝试一下,通常大致正确,它经常在,经常是数量级 范围内,但它在糊弄。我认为这主要是因为,嗯,求和表格 在总数据集中只占很小一部分,所以训练过程只是没有 分配那么多资源来弄清楚如何加数字。可能如果你 训练一个 GPT-3 大小的东西,全部用数字表格,它就会 学会正确做加法。是的,那会花费你数百万美元,你 最终会得到一个运行成本极高且不太好的计算器。这 不是人们会做的事情,但就像原则上,模型应该 学会那些东西,同样地,如果你在建模一堆科学 论文,你说你描述一个实验的 方法,然后你放上结果,你开始一个表格,然后你让它 生成,原则上为了在那方面做得好,它必须建模 你的实验所涉及的物理过程,嗯,我试过这个,你 可以这样做,说,哦,这是我的学校科学实验,我从不同
HN 上的讨论
我认为很多人不知道GPT真正如何工作仍然是一个问题。GPT中没有任何部分能够弄清楚某事。所以没有智能,也没有学习事物。一个很好的例子是当你看到GPT写诗时。它写的所有诗都有相同的结构,而且不是很好。所以它似乎不知道十四行诗和打油诗的区别。但发生的是,写诗和让用户满意之间存在错位。GPT被训练成其最高目标是让用户满意。GPT认为用户反正不知道十四行诗是什么,所以我可以逃脱一个不是十四行诗的押韵。这里有一个关于这个的好视频:[VIDEO] — fxj, 2023-04
这个视频[1]为我解答了很多关于我在ChatGPT上看到的问题。我目前的操作理论是这样的:回想一下“这个人物不存在”[2],一个生成模拟人脸图像的网站。它的工作原理是从训练好的模型中随机选取一个人脸潜在空间中的向量,并展示给用户。当你使用ChatGPT时,你得到的是一个随机的模拟助手。答案的质量高度依赖于潜在空间的那一部分(也就是那个特定的模拟助手)是如何被训练的。因此,就像你从this-person-does-not-exist得到各种各样的人脸一样,你也会从ChatGPT得到各种各样的模拟助手。对我来说,这解释了ChatGPT精神分裂般的本质。至于它似乎喷出的胡扯,它是在对抗一个评分系统(另一个人工智能),该系统的训练目标是像人类一样对文本进行评分。如果那些人类不知道某件事,他们无法表达出来,他们只有“选出最好的”,这移除了所有其他维度的考量,并将其压缩成一个标量。评分系统的最优策略… — mikewarot, 2023-02
观看这个关于ChatGPT如何工作,尤其是它如何被训练的概述,可能会有很大帮助。[1] 人类的注意力对训练来说太昂贵了,所以他们制作了另一个人工智能来模拟训练者。不幸的是,训练者模拟器的训练没有为真正的人类提供足够表达性的选项,这通过将事情简化为单一排名,把很多非常有价值的反馈排除在整个系统之外。如果那个人不知道正确答案,他们很可能只是凭直觉。这反过来又导致训练模拟器也这样做。这导致ChatGPT只是试图胡扯一个答案,而不是说它不知道,然后被踩。[1] [VIDEO] — mikewarot, 2023-02
这取决于你对作弊的定义,但这绝对不是“使用人类来回答所有可能被问到的问题”。相反,这是一种调整语言模型使其更像助手而不是“最可能的续写机器”的方法。为了提供背景,我建议观看关于ChatGPT是什么/做什么的讨论[0],以及Open Assistant项目的目标是什么[1]。[0]: [VIDEO] [1]: [LINK] — f_devd, 2023-02
我以前读过,这很吸引人。GPT3只是基于源文本进行训练,但ChatGPT经历了额外的非常严格的强化训练计划,由人类反馈引导。这使其进化,以提高其作为信息助手的性能,特别是在过去被证明有问题的特定任务上。这个视频解释了这种方法及其一些局限性。[VIDEO] — simonh, 2023-02
相关视频
- 构建原型 Dan Gelbart 第10部分(共18部分) 柔性机构 · Dan Gelbart · 12:55
- 比你家的更好的古董烤面包机 · Technology Connections · 18:28
- USENIX ATC '21/OSDI '21联合主题演讲——操作系统是时候重新发现硬件了 · USENIX · 1:06:19
- USENIX Security '18-Q:为什么主题演讲者不断建议改进安全性是可能的? · USENIX · 51:22
- 构建原型 Dan Gelbart 第1部分(共18部分) 介绍 · Dan Gelbart · 10:30
- Bret Victor 基于原则的发明 · Luna Programming Language Tutorials · 54:20
- 泄露:五角大楼的 UFO - 被揭穿! · Thunderf00t · 23:24
- 时间会导致引力吗? · PBS Space Time · 11:51
- 智能与愚蠢:正交性论点 · Robert Miles AI Safety · 13:02
- 经典游戏事后剖析:席德·梅尔的文明 · GDC Festival of Gaming · 1:02:15
- 与埃隆·马斯克关于星舰的对话 · Everyday Astronaut · 17:06
- 费曼 :: 国际象棋规则 · defjam99b · 2:49
- Timothy Snyder:现代乌克兰的形成。第1课:俄罗斯入侵引发的乌克兰问题 · YaleCourses · 46:05
- 解析:“Go Fast” UFO 视频——既不低也不快——像个气球! · Mick West · 6:42
- Tiedustelueverstin arvio Venäjästä | 3.12.2018 · fin_topsu · 1:00:22
- 发生在马身上的事正在发生在我们身上 · CGP Grey · 15:00