使用哈密顿蒙特卡洛的高效贝叶斯推断——Michael Betancourt(第一部分)

Efficient Bayesian inference with Hamiltonian Monte Carlo -- Michael Betancourt (Part 1)

频道:MLSS Iceland 2014 · 时长:1:29:42 · 发布:2014-11-17 · 播放:47971

在 YouTube 观看

简介

Michael Betancourt 在 MLSS Iceland 2014 上的讲座,关于使用哈密顿蒙特卡洛进行高效贝叶斯推断。涵盖 MCMC 概念和动机,以及在高维分布中采样的问题。

HN 为什么推荐

HN 用户反复回看它,作为 MCMC 和 HMC 的清晰入门,以及关于高维为何反直觉的讲解。

这是一篇关于 MCMC 以及后来 HMC 基本概念和动机的绝佳入门 — HN, 2022

数据科学与统计 · 大学讲座与课程

中文字幕节选

我们之前已经听过一些关于贝叶斯推断和MCMC的精彩演讲,今天我要讲的是 一些大数据相关的内容。我今天想深入探讨的是,当我们采用这些MCMC 方法,当我们采用这些在一、二、三维空间中还算通用的方法, 然后试图将它们推广到高维系统——也就是我们如今在应用统计学中 感兴趣的大型系统时,很多问题 就开始崩溃了,你必须非常非常小心才能让这些方法 真正有效。所以我们感兴趣的是建立一种有原则的数学 算法,通过构造本身就能在这些高维空间中工作。所以 我今天想做的是,希望能说明为什么我们需要这些非常特殊的 算法,并向你们展示如果不小心会出现的很多病态问题。所以 会有一些数学,但不会太多,主要是思想。好的,希望 这应该是很好的解释性内容。然后这个动机将带我们进入 哈密顿蒙特卡洛,这是一个非常非常优雅的框架,用于处理 这类结构,这将带我们进入Stan,它是我们 对HMC的实现,结合了很多非常好的面向用户的接口和 后端最先进的计算技术。它提供了一个平台, 以非常非常通用的方式构建这类高维——不完全是big data,而是大型模型。 很好,大家都醒着吧?好的。 这是我对模型空间的思考方式。它是一个奇怪的无限 维空间,但你可以非常通用地用二维 方式来思考它。一个轴是样本量,也就是数据集的大小, 另一个轴是模型复杂度。这是分解模型的 一个非常好的方式,因为你知道,这边是经典统计学, 理想情况下这边是big data,对吧?你会认为 big data应该是任何模型,无论简单还是复杂,只要 我们处于大量大量大量数据的区域。但这不是 Big Data在实践中通常的样子。在实践中,Big Data只是下面 这个小家伙。如果你想想典型的大数据场景,它几乎总是 归结为MapReduce,而MapReduce产生非常非常简单的模型。 昨天有人讲过,你必须要有这些阿贝尔操作,MapReduce 本质上就是计数,这就是MapReduce所做的一切。所以如果你有任何 非线性的东西,它就不会在典型的MapReduce范围内。所以 有一个有趣的演化过程。为什么这个图的右上角 没有人口呢?天真地你会认为,随着我们获得更多数据,我们 可以支持越来越复杂的模型,并开始提出更有趣的问题。 确实,如果你看看经典统计学中发生的情况,我们 确实看到这种行为:随着数据增多,模型复杂度也增加,但最终 我们会遇到一个计算阈值。存在某个点,我们无法再随着 数据增加而扩展模型的复杂度。有趣的是, 我们不只是达到饱和并停留在那个饱和水平,我们实际上 会转向这个大数据区域。所以我们有这些巨大 数据集的激增,人们只是在上面拟合简单模型,仅仅因为有一种 观念认为你必须拟合所有数据。这是一个有趣的区域,有 一些实用性,但我喜欢主张的是向上推到顶部 这里。我们感兴趣的不是数据成为最重要的 对象,我们感兴趣的是模型成为统计学中非常非常重要的一部分。 O'Neill讲了很多关于这个的内容。当你引入模型,当建模成为你

HN 上的讨论

最近看了这个关于哈密顿蒙特卡洛的视频,它是对 mcmc 以及后来 hmc 的基本概念和动机的绝佳入门介绍 [VIDEO] — leecarraher, 2022-10
我不是这个领域的专家,但我猜这与高维空间中几何的反直觉性质有关。我能想到的一个粗略例子是,随着维度的增加,远离原点的方式数量呈指数增长(甚至更快?)。远离原点的体积比靠近原点的体积要多得多,我曾看到过这样的解释:“高维橙子的大部分体积都在皮里”。这样做的结果之一是,标准高斯分布的样本最终会形成一个“壳”,而不是你期望的“球”(这种现象通常称为测度集中)。另外,粗略地说,高维物体有很多角,而且这些角也非常尖锐。我猜梯度下降会卡在这些角里,很难出来。一些相关的链接:- Spikey Spheres: [LINK] - Thinking outside the 10-dimensional box - 3blue1brown: [LINK] - 这是一个关于 HMC 的相当长的演讲,但它确实谈到了采样高维分布时出现的一些问题:[VIDEO] — euW3EeBe, 2024-05
这是一个有趣的视角,感谢作者传达了一种思考高维分布的有用方式。我非常喜欢并经常回顾 Michael Betancourt 的这个演讲,主题非常相似:[VIDEO] — srs70187, 2017-11

相关视频