OpenAI的GPT-4讨论:红队成员Nathan Labenz与Erik Torenberg

OpenAI's GPT-4 Discussion with Red Teamer Nathan Labenz and Erik Torenberg

频道:Cognitive Revolution "How AI Changes Everything" · 时长:1:22:57 · 发布:2023-03-28 · 播放:25036

在 YouTube 观看

简介

一集播客中,GPT-4红队成员Nathan Labenz描述了在发布前使用该模型,发现它达到人类水平但不像人类,并讨论了其弱点和令人担忧的能力。最后对GPT-5进行了推测。

HN 为什么推荐

被引用为关于安全调优前原始、未过滤的GPT-4的第一手资料,尤其是45分钟之后的部分。

他说它极其强大,会毫不犹豫地回答任何问题。 — HN, 2023

大语言模型与生成式 AI · AI 安全、AGI 与影响

中文字幕节选

它最引人注目的地方,或许与其原始能力不相上下的是, 它完全不分善恶,愿意做 用户要求的任何事情,基本上毫不犹豫, 没有拒绝,你知道,没有责备,它就会直接去做,所以那 可能很明目张胆,但我们首先会问的是,我怎样才能杀死最多 人,而早期版本就会直接回答这个问题,这不是 我们现在所知的GPT-4的新问题,但这是一个 因为系统强大得多而变得重要得多的问题。 大家好,欢迎来到认知革命,在这里我们采访有远见的 研究人员、企业家和建设者,他们工作在人工智能的前沿, 每周我们都会探索他们的革命性想法,一起 构建一幅图景,展示AI技术将如何改变工作、生活和社会, 在未来几年。我是Nathan Labenz,与我的联合主持人Eric Torenberg一起。在我们深入 认知革命之前,我想告诉你们我的新采访节目 Upstream。Upstream是我与世界上一些最有趣的 思想家深入交流的地方,以绘制重要想法的星座图。在Upstream的第一季中, 你会听到Marc Andreessen、David Sacks、Balaji、Ezra Klein、Joe Lonsdale等人的分享。请务必订阅并查看与a16z的 Park和Treason的第一集,链接在描述中。大家好,今天的节目有点 不同,今天我是嘉宾,Eric采访我关于我作为GPT-4红队成员的经历。 GPT-4发布才两周,如果之前还不明显, 现在应该很清楚,我们所知的世界很快就会 发生巨大变化。GPT-4的头条数字反映了AI能力的又一次惊人进步, 与仅仅三个半月前发布的GPT-3.5相比, GPT-4在律师考试中从第10百分位跃升至第90百分位, 在GRE语文中从第60百分位升至第99百分位, 在AP微积分BC考试中从最低5%升至大约第50百分位。 所以,在仅仅一年多的时间里,随着InstructGPT、 text-davinci-002、ChatGPT以及现在的GPT-4的相继发布,OpenAI 已经将大型语言模型从笨重、常常令人沮丧的少样本 学习者转变为现在在许多高价值领域接近专家级性能的系统。 当然,能力越大责任越大,事实上 OpenAI在GPT-4预训练完成后花了整整六个月时间探索其 能力和相关风险。我有幸被邀请作为OpenAI客户预览 GPT-4,我最终暂停了其他项目两个月, 以便全职测试和探索这个模型。我学到的东西让我对AI能产生的积极影响 感到极其兴奋,但也清楚认识到几个关键 事实,这些可能尚未被理解。首先,AI对齐并不容易, 并且不会默认发生。其次,用朴素的从人类反馈中进行强化 学习(RLHF)训练的模型实际上是危险的。第三, 进一步的模型扩展应该极其谨慎地对待。所有这些以及 更多内容都是今天对话的主题。在我们开始之前,我想花 一点时间感谢大家收听,感谢你们热情的反馈和 与朋友分享认知革命。我真的很惊讶地看到我们 在仅仅五集后就进入了苹果前100科技播客,而最后

HN 上的讨论

这段对早期未经过滤版 GPT-4 测试者之一的采访可能涵盖了你想要的内容:[VIDEO] 这是一个视频而不是文章,但你可能还是会觉得它有意思。 — rpeden, 2023-08
这里有两个。第一个是 Nathan Labenz,他在基础模型完全训练完成但尚未发布的那六个月里,最终为 OpenAI 做红队测试(特别相关的部分在 45 分钟之后):[VIDEO] 另一个是 Sebastien Bubeck,他在 Sydney 被驯服几个档次之前把她放进了 Bing;他以一种特别令人心酸的方式解释了脑白质切除过程,他们让 GPT 一直试图画独角兽,即使它被逐步钝化:[LINK] — ftxbro, 2023-05
所有那些“GPT主义”和你发布的GPT对话中的问题都是因为他们通过RLHF脑叶切除使其变得更温顺和愚蠢。在它的“自然形态”(原始基础模型)中不是这样的。如果你不相信我,看看两个在它被脑叶切除之前接触过它的人的YouTube视频:Nathan Labenz,为OpenAI红队测试GPT-4:[VIDEO] Sebastien Bubeck,为微软将GPT-4与Bing集成:[LINK] — ftxbro, 2023-05
> 我很好奇这种对特定话题的固着是模型固有的,还是GPT4受到的激进RLHF的结果。 是的,这是因为RLHF,取决于你所说的“对特定话题的固着”是什么意思。 > 据传闻,随着他们更多地“微调”模型,模型的强度已经大大降低。 是的,这是真的。例如[LINK]中的图8 他们在附录中辩称这不会影响回答测试问题的“能力”。但是,有一个混淆因素。RLHF包括问答格式训练和温顺训练。例如,如果你看到一个问题是处于“补全模式”(唯一的原始基础模式),那么你可能会建议第二个问题。而如果你接受了问答格式训练,那么你可能会尝试回答问题。 > 我很好奇原始的混乱中立GPT4如何回应。 他们在这两个视频中谈论了这一点:Nathan Labenz,为OpenAI红队测试GPT-4(特别是在45分钟后):[VIDEO] Sebastien Bubeck,为微软将GPT-4与Bing集成:[LINK] — ftxbro, 2023-05
这是另一个采访,来自一个在GPT-4发布前接触过未过滤版本的人。他说它极其强大,会毫不犹豫地回答任何问题。[VIDEO] — 015UUZn8aEvW, 2023-05

相关视频