Ray Summit 2022 - 第一天主题演讲 - 炉边谈话
Ray Summit 2022 - Day 1 Keynote - Fireside Chat
频道:Anyscale · 时长:18:22 · 发布:2022-11-02 · 播放:6013
简介
Ray Summit 2022 主题演讲中的炉边谈话,由 OpenAI 的 Greg Brockman 和 Anyscale 的 Robert Nishihara 进行。他们讨论了 OpenAI 的训练基础设施如何演变及其对 Ray 的使用。
HN 为什么推荐
被引用为 OpenAI 使用 Ray 进行训练的事实来源,以及 Brockman 对开发者速度的看法。
OpenAI 炉边谈话,关于其基础设施的演变和使用 Ray 进行训练 — HN, 2023
分布式系统 · 机器学习与深度学习 · 大语言模型与生成式 AI
中文字幕节选
Greg,非常感谢你能来。 真的非常荣幸能邀请到你。 很高兴来到这里。那么,你是OpenAI的联合创始人兼总裁之一。 嗯,你能跟我们讲讲你为什么创办OpenAI,以及OpenAI在 做什么吗?好的,2015年,我们在帕洛阿尔托一起吃了个晚饭, 嗯,离这儿不太远,我想,嗯,和一群人一起,比如 我的一些联合创始人,嗯,我们当时有个问题:现在开始 一个试图构建通用人工智能的实验室,是不是太晚了? 你知道,感觉AI显然正在朝着某个方向发展。 也许有一天你甚至能达到那个点,可以造出一台和 人类一样聪明的机器,而且它显然会改变一切。 而且,你知道,问题就是你觉得在座的人能不能 创办一家公司来试着让它往好的方向发展,还是说也许它 已经掌握在现有的那些玩家手里了。 我想我们大家都互相看了看,说:“这并非显然 不可能。也许可以做到。” 嗯,所以第二天我就全职投入,试着组建一个团队,让 它成为现实。不错。所以,这就是我们的使命。 你知道,我们的目标真的是努力让人工智能以 最有益于人类的方式向前发展。 我们有一家,你知道,研究公司,我们一直在实际推动 这项技术前进,并将它部署给大量用户。 太了不起了。嗯,我想问你的一件事。 那么,你是OpenAI大模型训练的负责人之一,对吧? 是的。你能跟我们讲讲大模型有什么特别之处吗? 为什么是大模型?是的,我觉得大模型是最令人惊讶的 事情之一,就它们在过去,你知道,5年里能做的事情而言。 嗯,从某些方面来说,如果你快进,如果你回溯到这整个 深度学习浪潮的开端,你知道,回到60年代和50年代,那时 人们刚开始思考构建神经网络。 它一直都是关于更大的计算机和更大的网络。 嗯,但真正神奇的地方在于,如果你拿一个神经网络, 用海量的数据和海量的多样性来训练它,对吧? 所以你基本上可以想象,在互联网上所有的文本数据上训练一个模型,然后 它实际上能学会生成几乎与 人类所写文本无法区分的文本,并将它用于各种任务,你知道,任何 基于语言的任务,你的公司可能有的那种。 所以我们看到的是,如果你不是在某个狭窄的数据集上训练, 而是说在这个非常广泛的东西上训练,你最终得到的模型在 那些单个任务上比只做狭窄的 事情更有能力。你能给我们一个感觉吗,我的意思是,有哪些任务或结果 最让你印象深刻? 是的,目前我们部署的模型大致有两类, 其他人也有,你知道,类似的相关模型。 有一类是GPT家族,你在文本上进行预训练。 所以你实际上只是说这里有一些文本,预测下一个词,然后你 就能做任何分类文本,或者你知道,讲笑话也开始 奏效了。而且你知道,实际上我,我最近参加了一场婚礼, 一半的致辞是和我们的GPT模型一起合写的。 那真是,我想你一时半会儿也想不起什么笑话吧。 嗯,有一些不错的,关于换一个灯泡需要多少个OpenAI工程师。 不错。我的意思是,你要不要也跟我们讲讲DALL-E之类的?
HN 上的讨论
[作者] OpenAI 使用 Ray,即 Anyscale Platform 的开源版本,来训练他们的模型(视频证据:[VIDEO])。Ray([LINK])可供任何人使用。你也可以使用 Aviary([LINK])自己部署这些模型中的任何一个。 — waleedk, 2023-08
我一直从那些我认为在其领域取得了外部成功的人那里看到这个建议。Greg Brockman(OpenAI 联合创始人):开发者速度是我最关心的事情:([VIDEO])。我相信他还就这个话题说了更多,但我现在找不到了。Frank Slootman(Snowflake CEO):在他的书《Amp It Up》中,他强调了为什么推动人们快速行动极其重要。Elon Musk(我们不要争论 Elon,就同意他帮助建立了 2 家市值超过 1000 亿美元的公司):"我相信疯狂的紧迫感,如果你能在会议结束后立刻实现某件事,那就去做",这是他在接管 Twitter 时的工作哲学。就我的个人经验而言,我遇到的最令人印象深刻的程序员之一,工作速度极快,同时也非常准确,几乎表明根本不存在权衡。 — sashank_1509, 2023-06
我是 Ray 的开发者之一,感谢推荐 :) 如果你好奇 Ray 是如何用于 LLM 的,这里有一些使用 Ray 的 LLM 项目的有趣例子!- Alpa 用 175B 参数模型进行训练和推理服务 [LINK] - GPT-J [LINK] - 另一个关于用 Ray 训练 LLM 的 HN 帖子(这里是使用 TPU)[LINK] - OpenAI 关于其基础设施演进以及使用 Ray 进行训练的炉边谈话 [VIDEO] - Cohere 关于其训练 LLM 的架构 [LINK] 还有一些其他想法 1. 我们还有很多想做的事情,让 Ray 更适合处理大语言模型,并让训练、推理服务和批量推理开箱即用。2. 原帖是关于训练的,但实际上我们看到对 LLM 微调和推理服务的兴趣更大,部分原因是现在有很好的预训练模型。3. 对于 LLM,相比其他用例,我们看到对 Ray + Jax 或 Ray + TP… — robertnishihara, 2023-02
相关视频
- 神经网络和反向传播的详细入门:构建micrograd · Andrej Karpathy · 2:25:52
- Erlang和Elixir的灵魂 • Sasa Juric • GOTO 2019 · GOTO Conferences · 42:02
- 但什么是神经网络?| 深度学习第一章 · 3Blue1Brown · 18:40
- “用确定性模拟测试分布式系统” by Will Wilson · Strange Loop Conference · 40:20
- AlphaGo - 电影 | 完整获奖纪录片 · Google DeepMind · 1:30:28
- Transformer,LLM 背后的技术 | 深度学习第 5 章 · 3Blue1Brown · 27:14
- USENIX Security '18-Q:为什么主题演讲者不断建议改进安全性是可能的? · USENIX · 51:22
- 第一讲 | 机器学习(斯坦福) · Stanford · 1:08:40
- Erlang Factory 2014 - 那是带 'B' 的 'Billion':在 WhatsApp 扩展到下一个级别 · Erlang Solutions · 49:15
- MarI/O - 视频游戏机器学习 · SethBling · 5:57
- 深入探讨 ChatGPT 等 LLM · Andrej Karpathy · 3:31:23
- Martin Kleppmann 的 "用 Apache Samza 将数据库翻转" · Strange Loop Conference · 47:42
- 学会玩经典 NES 游戏的计算机程序 · suckerpinch · 16:17
- David Silver 强化学习课程 - 第一讲:强化学习导论 · Google DeepMind · 1:28:12
- 系统的语言 - Rich Hickey · ClojureTV · 1:02:49
- Google I/O 2012 - Go 并发模式 · Google for Developers · 51:27