使用 t-SNE 可视化数据

Visualizing Data Using t-SNE

频道:Google TechTalks · 时长:55:10 · 发布:2013-11-07 · 播放:203669

在 YouTube 观看

简介

t-SNE 的共同创造者 Laurens van der Maaten 在 Google Tech Talk 上讲解如何通过将高维数据映射到二维来进行可视化。它解释了该技术的原理以及与其他可视化方法的比较。

HN 为什么推荐

每当 t-SNE 被提及时,HN 上的人都会指向它,作为来自方法作者本人的权威解释。

有一个非常有趣的 Google techtalk 讲解其工作原理 — HN, 2013

机器学习与深度学习 · 数据可视化与信息设计

中文字幕节选

GEOFFREY HINTON:我想介绍 Laurens van der Maaten,我们今天的演讲者。 他将谈论一种新的可视化技术, 这种技术在将大型数据集布局到二维地图方面比任何其他技术都更有效, 这样你就可以看到它们的结构。 Laurens 在蒂尔堡获得了计算机视觉博士学位, 用英语说,是在 2009 年。 他在 UCSD 与 Lawrence Saul 一起做机器学习博士后。 他现在是代尔夫特理工大学的助理教授。 2008 年,他访问了多伦多六个月, 我们在那里合作开发了 t-SNE。 我的贡献之一, 就是跳出框框思考,说如果我们 让我们一组互斥事件的概率加起来等于四,效果会更好。 而 Laurens 现在告诉我,如果我们让它们加起来等于 12,效果会更好。 好的,Laurens。[掌声] LAURENS VAN DER MAATEN:非常感谢,Geoff。 感谢邀请我。很高兴来到这里。 所以今天我将谈论 我与 Geoff 一直在做的工作,自从我访问 多伦多以来一直在继续,关于使用 t-SNE 可视化数据。 我们在这次演讲中考虑的场景 是给定一堆高维对象, 在这个例子中是一本叫做 x1 到 xn 的书。 我们想感受一下这个数据的结构,即底层结构, 是什么。我们想知道,比如,里面是否有某些聚类? 这个数据的更局部结构是什么, 由高维输入形成的流形? 所以问题是,我们如何 感受,我们如何获得直觉,了解 这个高维数据在数据空间中是如何排列的? 如果你看信息可视化领域, 他们已经开发了很多方法来进行数据可视化。 你可能熟悉平行坐标,或者 这些径向图布局,也许像树图这样的东西。 或者我肯定你以前见过世界地图。 如果我看看这些,它们都有一个共同特点—— 好吧,也许两个。它们非常丰富多彩且好看。 它们都只可视化几个变量。 而且,既然也是谷歌,想必你经常处于有 许多变量的情况,问题是, 我们如何可视化非常高维的数据,对吧? 我们如何处理这个非常大量的变量? 我们如何深入了解这些? 所以解决这个问题的一个简单想法 是尝试构建一个地图,其中每个 高维对象将被表示 为一个点,使得相似的对象 被表示为附近的点。 而不相似的对象将被表示为远处的点。 我们将这些点嵌入到一些低维 地图中,也许是二维或三维。 而且,如果我们成功正确构建地图, 那么我们可以布局这个二维或三维地图。 基本上,我们可以将其可视化为散点图。 这希望能对数据有一些洞察。 这里有一个例子,我们有一堆高维数据。 我们尝试将其嵌入到二维空间中。 显然我们做得不是很好 因为,基本上,点之间的距离 在低维地图中与高维地图非常不同。 所以我们最终想要得到的是更像这样的结果, 其中低维地图中的距离 反映了原始高维数据中的相似性。 为此,我们将最小化 某个目标函数,它基本上衡量 原始数据中的相似性 与地图中的不相似性之间的差异。

HN 上的讨论

Barnes-Hut 用的是四叉树,对吧?我不知道代码是否被改成了在 3D 中使用八叉树;也许改了吧?顺便说一句,有一个非常有趣的 Google 技术演讲解释了它的工作原理:[VIDEO] — a1k0n, 2013-11
也使用非空间维度,比如颜色、大小和形状。你还可以使用像 t-sne 这样的巧妙投影来减少维度,同时保留数据的一些结构([VIDEO]) — vankessel, 2019-08
谢谢你的提议。我看过这个 [VIDEO],我想我明白它是如何工作的,但仍然觉得结果很惊人。 — zoren, 2016-11

相关视频