John Schulman - 从人类反馈中进行强化学习:进展与挑战

John Schulman - Reinforcement Learning from Human Feedback: Progress and Challenges

频道:UC Berkeley EECS · 时长:1:03:32 · 发布:2023-04-20 · 播放:88511

在 YouTube 观看

简介

OpenAI 的 John Schulman 在 UC Berkeley EECS 学术报告会上讲解从人类反馈中进行强化学习。他涵盖了为什么 RL 有助于提高真实性、减少幻觉,以及行为克隆的局限性。

HN 为什么推荐

在 LLM 讨论中被推荐为来自 ChatGPT 架构师关于模型为何产生幻觉以及为何模仿不够的权威解释。

John Schulman,ChatGPT 的首席架构师,有一个非常好的演讲 — HN, 2023

机器学习与深度学习 · 大语言模型与生成式 AI

中文字幕节选

PETER:大家好,我们开始吧。 [掌声] 欢迎来到,我想,Ken,这是系列讲座的第五场吗? 是的,伯克利AI系列讲座的第五场研讨会。 感谢Ken主办整个系列讲座并筹备了这一切。 今天很荣幸邀请到John Schulman。 John实际上是伯克利的毕业生, 2016年从伯克利获得博士学位,对吗? 之后他联合创立了OpenAI,大多数人 说剩下的就是历史了,但不仅如此,他还是ChatGPT的首席架构师。 他是现代基于深度学习的策略 梯度算法的发明者,包括信任域策略优化, 这是他在伯克利与Mike 和我一起完成的,然后是近端策略优化, 这是当今该领域使用最广泛的算法 并被用于ChatGPT训练的一部分。 所以非常高兴John能回到我们这里。 我给你们讲一个我自己第一次遇到John的小故事。 我第一次遇到他不是直接遇到John, 而是Jose Carmena教授来找我 他在神经科学领域工作,有一个新学生 我真的很想招募。 他绝对是最棒的,这是我想招募的人。 他想研究假肢,而机器人技术将在其中发挥作用。 你能帮我招募他吗? 我帮Jose Carmena招募了John。 接下来我们就知道John在我的实验室工作了。 我感到非常、非常、非常、非常内疚。 我去找Jose说,Jose,如果John留在我的实验室你觉得怎么样? 他说,拜托,他在你的实验室里似乎效率高多了。 我祝福你,去吧。 是的,谢谢你,John。 很高兴有你,感谢你回到这里。 讲台交给你了。[掌声] JOHN SCHULMAN:是的,非常感谢你非常友好的 介绍,Peter。是的,真的很高兴回到我的母校。 是的,我与Peter合作,最初 从事机器人技术研究,然后对强化学习产生了兴趣 在我博士生涯中途,随着深度学习 开始起飞,结果非常好。 在OpenAI的大部分时间 我一直在管理RL团队,几年前转向 强化学习团队,几年前转向专注于语言模型 并对其进行微调,这导致了一些项目 我今天将要谈论的。 所以我想稍微聚焦一下演讲。 当今围绕语言模型最大的技术问题之一 是真实性。你们都知道语言模型经常编造东西 而且往往很有说服力,所以我会给出 我对为什么会发生这种情况以及如何解决的观点。 事实证明,强化学习是解决这个问题的部分方案。 所以我会谈论一些工作 我们使用基于检索的方法来解决这个问题 然后我会谈论这个一般领域的一些开放问题。 这就是概述。 好的,你们可能听说过这个词幻觉,语言模型会产生幻觉。 你们能看到文字吗? 好的,这里有一个例子。 这不是精心挑选的,这是——我将要展示的所有例子 都是我昨天刚运行的查询得到的第一个样本。 告诉我John Schulman因在家中饲养异国动物被捕的事。 所以最上面的模型是 GPT-3.5 Instruct。 它给你编了个故事,说我在家里养了 老虎、薮猫,就是那边那只可爱的猫科动物,等等。

HN 上的讨论

有一种观点认为RLHF的目标是让ChatGPT变得“觉醒”,或者如你所说,对它进行脑叶切除。我怀疑这是一种阴谋论。ChatGPT的首席架构师John Schulman有一个很好的演讲[0],他解释说,如果你在训练中不包含RL组件,你本质上是在做模仿学习。众所周知,模仿学习在遇到训练集中没有的情况时(即回答互联网上尚不存在的问题)会惨败。所以RLHF的目标实际上是减少幻觉。[0] [VIDEO] — KKKKkkkk1, 2023-05
当然,给你:[VIDEO] 总结:1. 显然你无法完全“解决”真实性问题,因为人们对什么是真什么是假存在分歧。但你可以取得很大进展。2. 模型确实知道它们不知道什么。它们的不确定性不仅表现在最终的token logprobs中,而且似乎以某种方式被具体化,以至于它们可以用语言表达自己的确定性程度。3. 许多问题是由训练过程中引入的微妙问题导致的,这些问题实际上教会了AI去猜测。一个例子是在问答数据集上训练,其中答案从来不是“我不知道”。RLHF引入了自己的问题,因为人类训练师不知道模型知道什么,所以可能会因为模型通过猜测得到正确答案而奖励它。4. 许多失败是由于缺乏信息访问造成的。给LLM提供搜索网络和访问其他数据库的工具可以有很大帮助,而且这相对容易做到。5. 在某些情况下,你希望它去猜测。比如,在编码时,它吐出一屏代码,其中有一两个小错误,比因为结果可能不完美而完全拒绝尝试要有用得多。 — mike_hearn, 2023-04
这怎么“和实习生一样好”?实习生大多不会在他们一无所知的话题上产生幻觉并自信地撒谎。好的实习生往往会问很多问题,并迅速学习办公室的文化线索,从而融入并变得高效。LLM无法做到这些。OpenAI的John Schulman最近做了一个关于幻觉和不确定性问题的演讲[1]。他声称模型已经拥有关于其不确定性的信息,但如何用自然语言表达这种不确定性仍然是一个未解决的问题。试图防止模型产生幻觉的一大问题是,你可能会过于谨慎,导致模型对它实际上知道正确答案的事情撒谎。[1] [VIDEO] — chongli, 2023-07
这正是OpenAI不害怕开源社区的原因,不像许多对监管俘获条件反射般反对的人所假设的那样(他们可能仍然害怕谷歌)。这也是为什么他们仍然进行昂贵而繁琐的RLHF训练,而不是那些看似便宜快捷的微调。他们了解自己的技术,知道为什么没有免费的午餐。最近,John Schulman解释了行为克隆的问题,这是一个非常典型的ML问题。[1] 基本上:我们训练模型做什么?模型在微调后以整体方式更新,基于其内容和能力的总和。假设GPT-4能够正确回答许多请求,因为它知道正确答案,即它拥有某种与内部知识图谱同构的东西以及查询它的工具,并且该图谱包含足够的数据,使其工具能够在推理时推导出答案。RLHF通过约束输出分布来强化这种行为(本质上,引导模型避免对相应输入应用不适当的工具,例如,当被问到看似直接的事实性问题时,采用幻想叙事或糟糕的雅虎问答认知程序)。现在假设你通过在成功的GPT-4对话转储上对LLaMA… — airgapstopgap, 2023-05
帮自己一个忙,直接跳到Twitter链接,再跳到另一个链接,看看这篇关于以下问题的精彩文章[1]:以监督学习的方式(与强化学习相对)在ChatGPT输出上训练新模型,为何不会产生与ChatGPT一样好的模型。>对于这种类型的交互,我们必须使用RL训练,因为监督训练会教模型说谎。核心问题在于,我们希望鼓励模型基于其内部知识来回答,但我们不知道这些内部知识包含什么。在监督训练中,我们向模型呈现一个问题及其正确答案,并训练模型复制所提供的答案。作者说他在总结OpenAI的John Schulman的一次演讲[2],但我个人没有看过视频。无论如何,这是一个有趣的见解。假设我们设置一个监督学习场景,要求模型使用其内部知识来回答问题,并将其答案与人类写的答案进行比较。如果两个答案本质上说的是同一件事,但用词不同,在监督学习的情况下,模型会受到惩罚。在RL的情况下,它会受到奖励。这就是区别。1. [L… — lysozyme, 2023-04

相关视频