自动微分的简单本质 - Conal Elliott
The Simple Essence of Automatic Differentiation - Conal Elliott
频道:Microsoft Research · 时长:1:30:45 · 发布:2018-07-26 · 播放:17062
简介
Conal Elliott 介绍了他的自动微分论文,从自然规范推导出一个简单、通用的 AD 算法。改变导数的表示会产生前向和反向模式算法,避免了反向传播的复杂性和状态性。
HN 为什么推荐
被引用为论文的更易理解的伴侣,以及通过编译到范畴来处理 AD 的最有趣的方法。
Conal 有一个演讲使论文更容易理解一些 — HN, 2022
中文字幕节选
>> 我是Daan,很荣幸今天能主持Conal Elliott的演讲, 他是我在MSR的前同事,也是我的好朋友。 Conal曾在微软研究院工作到2002年, 现在他是target的杰出科学家。 但他在微软研究院的时候, 我那时忙于学生事务,我记得深受启发 是他关于函数式响应式动画的优美工作, 当时对我来说真的很有启发性。 Conal擅长的一件事就是把非常复杂的东西 比如那时的动画,总是有矩阵、帧和计时器, 他用一种优美的方式重新表述 关于动画的本质是时间的函数。 我认为在这项工作中,他再次应用了同样的技巧 但这次是在微分和机器学习方面, 总是关于所有这些复杂的东西,你几乎看不到本质, 这个演讲希望能对此有所启发。 所以,非常感谢,Conal。>> 谢谢,Don。很高兴来到这里。 是的,我曾在微软研究院的图形组工作,从 94年到2002年,我过得很愉快。 所以,这是我第一次回来做演讲。 总之,我们将讨论自动微分,这 大致与自动计算导数有关。 所以,一个好的起点是一个问题:什么是导数? 好的,这是问题的核心。 如果我们不知道这意味着什么,那么希望有 任何清晰、严谨、有启发性的自动微分故事是徒劳的。 所以,如果你像我一样受过教育,你可能,比如说, 我在高中上了微积分一,我学到 函数在某点的导数是一个数, 这个数与函数输出相对于输入在该点的 增长速率之比有关。 听起来像是微积分一的观点。 但稍后,事实证明它可能不是一个数,而是一个向量。 所以,如果我的函数产生更高维的结果, 不是标量,不只是实数,我们可以得到一个向量。 但函数也可能消耗更高维的结果,在这种情况下 我们得到一种不同的向量。 这两个经常不被区分,导致各种 软件中的混淆和错误,但它们实际上非常重要地不同。 它们看起来相似,但意味着根本不同的东西:向量和余向量。 然后,稍后,如果我们有更高维的定义域和陪域, 函数的输入和输出,在这种情况下,我们将不得不有 一个偏导数矩阵,有时称为雅可比矩阵。 所以,也许我们已经到达了完全一般的故事, 一个更高维的定义域和陪域,但是,嗯,还有更高阶导数。 更高阶导数是导数的导数,即二阶导数。 所以,更高阶导数将比二维更高维。 例如,所以你得到这些任意高维的张量列。 所以,无论如何,然后,我们有所有这些不同的导数概念,每一个 概念都有自己的链式法则,它们彼此都不同。 当然,当你看到这么多变体时 可能还会有其他变体。 所以,我们得到一个复杂而不完整的故事, 这对微积分学生来说不会顺利,对 计算机科学家或软件工程师来说也不会顺利。 所以,我们需要一个更好的故事。那么,让我们重新开始。 而不是说函数的导数是一个数、向量、余向量、 矩阵或某种更高维的怪物, 有一个普遍而美丽的统一故事 那就是导数是线性变换。 这就是一般性的描述。 那么,我要谈谈D。D是微分算子。 所以,微分是一个函数,我将展示一些符号。
HN 上的讨论
我在 AD 方面见过的最有趣的东西是《自动微分的简单本质》(2018)[1]。参见过去的讨论 [2],以及演讲 [3]。我认为主要思想是,通过编译到范畴,并将一个函数与其导数配对,这个配对在前向模式下变得可以轻松组合,而整个结构之后也很容易转换为反向模式。[1]: [LINK] [2]: [LINK] [3]: 在微软研究院的演讲:[VIDEO] 这里列出的其它演讲:[LINK] — infogulch, 2022-04
我还没第二次尝试反向模式,但我对前向模式的尝试(链接在父帖中)是我自己做的,没有借助论文的帮助。Conal 有一个演讲让这篇论文稍微更容易理解一些——[VIDEO]——但也只是稍微而已。我知道要理解实现细节需要花一番功夫……但这篇论文确实帮我理清了一些我一直在摸索的问题。 — sriku, 2022-09
他还就 AD 做了一个很棒的演讲:[VIDEO](很惊讶你居然没提到它,考虑到场合 ;-)) — noblethrasher, 2019-11
上个月还发布了一篇与 AD 相关的论文:The Simple Essence of Automatic Differentiation [0]。视频演示 [1]。我觉得它相当棒,以防你还没看过。[0]: https//news.ycombinator.com/item?id=18306860 [1]: [VIDEO] — infogulch, 2018-11
这篇论文在 ICFP 2018 上获得了最佳论文奖。Conal Elliott 最近在微软研究院就此做了一个更长的演讲:[VIDEO] — bmc7505, 2018-10
相关视频
- 如何在太空中实现纳米级精度? · Breaking Taps · 11:06
- 两把(?)无法撬开的锁,送给 Lock Picking Lawyer! · Stuff Made Here · 14:39
- 这就是为什么我们不能拥有好东西 · Veritasium · 17:30
- 数学的未来? · Microsoft Research · 1:14:48
- 快速平方根倒数——Quake III 算法 · Nemean · 20:08
- [1299] 来自 Stuff Made Here 的无法撬开的锁 · LockPickingLawyer · 10:35
- 为什么不能相乘向量? · Freya Holmér · 51:15
- 傅里叶光学用于光学模式识别 · Huygens Optics · 18:30
- Refterm讲座第一部分 - 优化哲学 · Molly Rocket · 18:41
- MINIX 3:一个模块化、自愈的 POSIX 兼容操作系统 · FOSDEM · 56:19
- 28c3:不安全性的科学 · 28c3 · 59:23
- Netflix JavaScript Talks - 使用响应式扩展的异步 JavaScript · Matt Marenghi · 28:38
- 向量 | 第1章,线性代数的本质 · 3Blue1Brown · 9:51
- Ruby Conf 12 - Y Not- 函数式编程历险记 by Jim Weirich · Confreaks · 53:21
- 神经网络和反向传播的详细入门:构建micrograd · Andrej Karpathy · 2:25:52
- 但什么是傅里叶变换?视觉介绍。 · 3Blue1Brown · 19:41