无需编写奖励函数训练 AI,使用奖励建模
Training AI Without Writing A Reward Function, with Reward Modelling
频道:Robert Miles AI Safety · 时长:17:51 · 发布:2019-12-13 · 播放:259736
简介
Robert Miles 解释了奖励建模,即 AI 从人类的偏好比较中学习人类想要什么,而不是手写奖励函数。他详细介绍了 2017 年关于从人类偏好进行深度强化学习的论文。
HN 为什么推荐
被视为 RLHF 背后思想的最清晰介绍,也被评论者借用为人类动机的隐喻。
我发现 Rob Miles 的这个视频仍然是关于 2017 年(!)那篇巧妙原始论文的最佳演示 — HN, 2023
中文字幕节选
嗨。什么是技术?别急着往下翻,我保证我这么说是有目的的。 你可能会从字典里找到某种定义,比如技术 是利用科学知识制造的机械和设备, 差不多是这样。但 这个类别的边界在哪里?什么才算? 比如,一把剪刀。算技术吗? 我想大多数人会说不是,虽然 它确实符合定义。也许剪刀 曾经是技术,但现在我觉得它们 太简单了,太容易被理解了。 我认为一旦我们真正搞定了某样东西, 弄清楚了所有细节,人们 就不再把它当作技术了。我觉得 要成为技术,某样东西必须 复杂且不可预测,甚至可能不可靠。 比如YouTube,绝对是技术, 你正在观看这个的设备也是。 好了,这为什么重要?我想部分 我的观点是,精确的定义真的很难。而这通常不是什么 大问题,因为语言并不真的 靠精确的定义来运作。也许很难 确切说明我们使用像技术这样的词时到底指什么。但套用 美国最高法院的一句话, 你看到它时就知道它。这对大多数用途来说 已经足够了。我提起这个的原因是, 有时人们问我关于我对 人工智能的定义。我其实觉得那很相似。你可以说 AI是试图让机器执行人类的认知任务。但那样的话 算术也是认知任务。那计算器算人工智能吗? 你知道,给列表排序也是认知任务。 我不认为大多数人会称那为AI。玩一局完美的井字棋 曾经被认为是AI,但我不 认为如今我们会这么叫它。所以对 我来说,AI是让机器做我们 认为它们做不到的认知任务。 也许是因为它是关于让机器 做人类的认知任务。而一旦机器 能做某件事,我们就不再把它 当作人类的认知任务了。这意味着 人工智能的目标总是在移动。 有些人抱怨过这一点,但我觉得 把这作为定义的一部分是相当合理的。 所以这意味着AI研究的目标是 继续扩大计算机能处理的 任务范围,这样它们就能不断让我们 惊讶。过去AI研究全是关于弄清楚并形式化事物, 以便我们能编写程序来做它们。 像算术、排序列表和玩井字棋。这些都 属于你可能称之为 我们能足够好地指定以编写 程序来做的问题类别。而在很长一段时间里, 这就是我们能做的一切。那是我们能处理的唯一问题类型。但 对于很多问题,那种方法真的 非常非常难。比如想想,你会如何 编写一个程序,接收一张手写数字的 图像并确定它是什么数字?你 可以形式化这个过程并尝试编写一个 程序。如果你想掌握老派的 比如计算机视觉和图像处理, 这其实是一种有趣的练习。 技术。一旦你写好了那个程序, 你就可以用MNIST数据集来测试它,这个数据集 是一个巨大的、正确标注的 数字小图像集合。你会发现, 如果你做得好,那么这东西勉强能用。但即使是用这种方式写出的最好的程序, 效果也不太好。它们不够 可靠,无法真正投入使用。总有人 会拿着一支很粗的铅笔 来破坏你程序的准确率。 而且这仍然是一个相当简单的问题。我 意思是,如果你想做类似 字母和数字一起识别的事情呢?现在你必须区分O和0、1和I 以及小写L。算了吧。这永远
HN 上的讨论
具体关于RLHF,我发现Rob Miles的这个视频仍然是关于2017年(!)那篇巧妙原始论文的最佳展示:[VIDEO] RLHF实际上比2018年出现的GPT-1还要古老。直到2022年InstructGPT才将其应用于语言模型,这种方法将监督指令微调与RLHF相结合。 — cubefox, 2023-07
我强烈推荐[VIDEO]作为框定问题的方式。目前我们对于机器学习的选项似乎是:自我对弈、数据集拟合或人类反馈。任何能够适应其中一种模式的问题都有可能被解决。(不幸的是,反之亦然:如果一个问题不属于这些类别,似乎很难用任何形式的机器学习来解决。)但是,现在我再想想,句子“使用训练好的网络作为构建具有已知连续性属性的控制器的工具”似乎既不明显也不直接。我在这一点上对AI技术相当熟悉,我真的想不出如何坐下来写一个程序来生成这样的系统。有人有线索吗?基本上,目标是制作一个神经网络,帮助你设计一个可预测的系统。一种方法是编写一个损失函数来惩罚不可预测性,然后让它运行直到收敛到一个可预测的控制系统。但这有点像说“只要画一只猫头鹰。”想到实际代码来做这件事并不容易。 — sillysaurusx, 2019-12
ADHD患者在此。请偷学一些我多年来学到的动机技巧:1. 找一个关心你个人的软件工程师或数据分析师朋友。和他们谈谈这个。人类进化出能够与阿姨或最好的朋友讨论事情的能力。当你对某事感到困惑时,橡皮鸭可能不够——你应该和人类谈谈。2. 确保你照顾好自己的身体和大脑:锻炼、好食物、好睡眠(如果你锻炼的话会更容易)、冥想等。3. 理解你的“奖励模型”是什么。在什么条件下你会认识到“啊哈!我取得了进步!”?要真正理解我在这里想说什么,看这个视频:[VIDEO] 4. 找到内在的东西来加强你的奖励模型的信号。回到你最初开始学习机器学习的时候,重新连接你的“为什么”。你仍然觉得那些理由有说服力吗?如果是,花些时间让你的画面更生动。——从为什么开始。5. 找到要移除的外部惩罚。现在你已经花了8个月的时间,你注意到了工作流程中让你烦恼的事情。- 8个月后,花一两周时间改善你的开发环境,磨平那些给你带来摩擦… — afarrell, 2020-07
我认为你的URL是一个绝佳的选择,它暗示了许多“问责辅导”的真正含义:情谊。一个容易想象的人,充当奖励模型[1],你可以想象他说“耶!在那个事情上取得进展!你走在正确的道路上[2]!继续前进。”当你预期一个行动会带来[社交]奖励时,那个行动就有动力。如果你观看Andrew Huberman博士关于多巴胺在大脑中作用的演讲,他会说它不是奖励的信号,而是预期奖励的信号。当你认识到一个出乎意料的强烈奖励时(比如你中了头奖或看到一个意外有趣的HN链接),它会激增,以帮助你学会重复通往那个奖励的路径[2],但大多数时候它发出信号“是的,你走在正确的道路上。现在去让那个测试通过吧”。[1] [VIDEO] [2] [LINK] — afarrell, 2021-01
A. 满足你的基本生理需求。你的大脑是你身体的一部分。缺铁的人可能会被迫嚼冰[1]。冰不能治愈贫血,大脑是身体中奇怪的部位,当身体没有得到所需时,会做奇怪的事情。所以,获得更好的睡眠、食物和锻炼。Andrew Huberman教授有一些好的建议[2]。B. 决定你真正重视的少数几件事,并有意将时间分配给它们。如果你发现自己反复被新闻吸引,也许你真的在乎公民参与。你的个性有这种需求。试图通过刷推特来满足这种需求就像晚餐吃三袋玉米片——快速获取,但不健康。如果你决定你重视墨西哥食物,打开你的日历,诚实地决定花时间学习烹饪墨西哥食物,你会更好。寻找你恶习背后的美德——你最被什么信息吸引,它指向什么健康的活动?选择3个并深入追求。为什么是3个?你只能诚实地在乎少数几件事[3],所以这需要决定不做其他合理的有趣活动。如果浅层参与你的兴趣一直是你拖延的主要模式,那么诚实和深入的参与可能会欺骗性地感觉… — afarrell, 2021-01
相关视频
- 大多数已发表的研究都是错的吗? · Veritasium · 12:22
- 1942 年中途岛海战:从日本视角讲述(1/3) · Montemayor · 41:46
- 为什么肉是世界上最好最坏的东西 🍔 · Kurzgesagt – In a Nutshell · 7:44
- Ben Marking的假BBC核攻击广播(全分辨率,未剪辑,未编辑) · Tooth · 55:42
- 齐普夫之谜 · Vsauce · 21:05
- 安东宁·斯卡利亚 - 论美国例外主义 · AmericanRhetoric.com · 7:21
- Self:电影; · Jecel Assumpção Jr · 21:01
- 30种奇怪的国际象棋算法:Elo世界 · suckerpinch · 42:35
- 1 小时看完 45 亿年 · Kurzgesagt – In a Nutshell · 1:03:31
- 试图公平统治,你将被推翻 · CGP Grey · 18:13
- 农业革命:Crash Course 世界历史 #1 · CrashCourse · 11:10
- 掌控你的睡眠,醒来时更清醒 · Andrew Huberman · 1:22:05
- 你需要一个主题,而不是一个目标 · CGP Grey · 6:23
- 但比特币究竟是如何运作的? · 3Blue1Brown · 25:15
- 大飞机 vs 小飞机(长途航线的经济学) · Wendover Productions · 10:08
- 线性代数的本质预览 · 3Blue1Brown · 5:09
- 太阳引力透镜将绘制系外行星地图。说真的。 · Launch Pad Astronomy · 23:32
- 我如何在真实的任天堂64硬件上实现MegaTextures · James Lambert · 8:51