David Silver 强化学习课程 - 第一讲:强化学习导论

RL Course by David Silver - Lecture 1: Introduction to Reinforcement Learning

频道:Google DeepMind · 时长:1:28:12 · 发布:2015-05-13 · 播放:1948777

在 YouTube 观看

简介

David Silver 强化学习课程的第一讲,介绍该领域及其基本概念。课程遵循 Sutton 和 Barto 的教材。

HN 为什么推荐

常被推荐为来自 AlphaGo 负责人的出色、清晰的强化学习入门课程,与 Sutton 和 Barto 的书搭配得很好。

在我阅读 Sutton 和 Barto 的入门书时,这些非常清晰的解释与之相辅相成。 — HN, 2020

机器学习与深度学习 · 大学讲座与课程

中文字幕节选

好的,那么今天的计划是我们先讲一点 行政事务,概述一下这门课的内容,特别是针对那些 真正来修学分的人,我知道那大概占了 在场听众的一半,还有一些人只是旁听或者想学点 强化学习的东西,所以请大家随意,然后我们 会进入整个课程的核心内容,也就是 强化学习,我会描述它是什么,这样你们就能清楚地 了解强化学习到底是怎么回事,为了做到这一点,我先 介绍这个问题,然后首先讨论 问题的设定是什么,当我们想解决一个强化 学习问题时,我们指的是什么,它如何融入机器学习、 科学之中,我们到底在谈论什么,然后我们会开始讨论 解决方法,我们会开始讨论这意味着什么 实际上构建一个能够解决强化学习问题的 智能体,所以那将是这一节的内容,在智能体内部,最后我们会讨论 强化学习中的一些关键问题,并开始获得一些 洞察,了解尝试解决这个问题的关键组成部分 好的,那么首先让我们从一些行政事务开始,所以,我们今年 尝试一些新东西,所以,前几年这门课是9:30开始的,所以今天 好的,我们9:30开始,但以后的课,如果我们能试着9:15开始 我知道因为这里有很多人,我实际上想鼓励 人们提问,让课堂稍微互动一些,这意味着 通常我发现这意味着我们需要多一点时间来完成 内容,所以,这样我们可以更轻松一些,而不是 试图在最后一分钟把所有东西都塞进去 有一个网站,这是所有教学 材料会发布在这个网站上,强化学习 课程,所有幻灯片都在上面,但我要指出,我保留 在最后一分钟更改幻灯片的权利,而且我经常这样做,所以如果你提前 打印出来并带着它们来,你可能会发现它们与我实际 教学用的略有不同,但我会更新网站,并 在课后明确说明幻灯片何时更新,这样你知道 如果你要为期末考试复习,你应该知道实际 材料是我教学用的,那是今年可考试的材料 如果大家都能加入这个Google群组,那就太好了,这 会帮助我们协调,这也将是Arthur Gretton的 高级主题课程的全部内容,我们将在同一个群组上协调,所以如果有 取消或出现问题,或者关于作业的 问题,特别是,可以在群里沟通,所以对我们来说很方便,如果 有一个地方可以联系到所有人,如果有任何问题 在这门课期间出现,随时给我发邮件,好的,那么对于那些 修这门课学分的人,我想Arthur在第一节课 解释过,但非常简要地再说一下,这是一门分开的课,高级 主题涵盖核方法部分和强化学习 部分,我们教它们就像它们是两门不同的课,所以你可以 把它们看作两门半课,恰好坐在同一个 我们称之为高级主题的课程伞下,这意味着我们安排 你不需要同时修两门,或者你可以只修一门 或另一门,你不必同时坐在两部分课程中,所以我们 这样做的方式是,强化学习部分有评估,强化学习部分有考试, 核方法有评估,在考试中你可以选择 回答哪些或两个都回答,所以具体来说,强化学习部分将是 50%课程作业,整个总体评估将是50%课程作业50%考试,

HN 上的讨论

这篇论文假设你已经对强化学习有相当多的了解。如果你真的想深入研究强化学习,David Silver(DeepMind)的这个入门课程非常棒:[VIDEO] — briandw, 2025-06
当他们提到 AlphaGo 开发者时,我几乎立刻就猜到是谁了。对于那些对强化学习不太熟悉的人,我推荐看他在 UCL 的讲座([VIDEO])。讲解非常清晰,在我读 Sutton 和 Barto 的入门书时配合得恰到好处。 — colmvp, 2020-04
我会从 David Silvers(DeepMind)的 YouTube 系列开始,了解哪些可能、哪些不可能。运行一个已经训练好的强化学习智能体相对便宜(除非你的模型非常庞大)。我怀疑人们还没有使用它的原因是:a) 训练起来真的很难做好,即使是最基本的收敛,没有仔细调参也无法保证;b) 在你 QA 能覆盖的场景之外,真的很难保证合理的行为。编辑:讲座系列链接 [VIDEO] — confuseshrink, 2020-07
我几天前看到了这个:具体到强化学习,标准教材是《强化学习:导论》[1]。Dave 在 UCL 的强化学习课程[2]也很棒(所有讲座的播放列表)[3]。来源:Julian Schrittwieser 在 Google 的 Deepmind 工作 [LINK] [1] [LINK] [2] [LINK] [3] [VIDEO] — alkhatib, 2019-02
我也推荐感兴趣的人去 YouTube 上看 David Silver 在 UCL 的强化学习讲座。他讲的内容涵盖了书中的材料。[VIDEO] — colmvp, 2019-02

相关视频