Peter Norvig - 数据的非理性有效性

Peter Norvig - The Unreasonable Effectiveness of Data

频道:UBC Computer Science · 时长:1:02:56 · 发布:2011-10-11 · 播放:74004

在 YouTube 观看

简介

Peter Norvig 在 UBC 杰出讲座中讲述了海量简单数据(例如用于语言建模的数据)如何带来手工构建模型无法企及的理解。

HN 为什么推荐

被推荐为最喜爱的技术演讲,展示了海量数据的可用性如何改变解决问题的方式。

Norvig 尤其擅长让你真正体会到海量数据的可用性可能带来的地震级影响 — HN, 2016

机器学习与深度学习 · 计算机视觉、语音与 NLP · 数据科学与统计

中文字幕节选

[掌声] 好的,呃,很高兴来到这里,谢谢Alan那番非常友好的 介绍,不过我得说,如果你要请一位 Google的向导来庆祝互联网的诞生,你该请Vint Cerf,但 他今天来不了,所以只能由我来凑数了。呃,感谢大家 前来,感谢站在后面的各位,为了和你们同甘共苦,我整场讲座 都会站着。呃,我今天想讲的,讲座的标题是 数据的非理性有效性,我指的是用它来理解 世界,以及用这些知识来做事情。呃,那我们先来看看 理解世界意味着什么,这里是传统的做法:你找 一个人,他叫Isaac,他观察世界的某些现象,然后有了一个 想法,接着是最难的部分,他把这个想法表述成一个理论,然后你去 检验并完善这个理论,等等,等它奏效了,你就能做 一些有用的事,比如我们在NASA做的那些,把飞船送入正确的 轨道等等。这个讲座的标题来自Eugene Wigner,他写过 一篇文章叫《数学的非理性有效性》,他在文中说,呃, 数学语言对于表述物理定律的适用性 是一个奇迹。他说这是一份奇妙的礼物,我们既不 理解也不配得到。他的意思是,我们能靠这些简短的 数学方程做这么多事,难道不神奇吗?F=ma、E=mc²、PV= nRT等等等等。呃,数学怎么能在描述世界时如此简洁又如此 有力?呃,他对此做了哲学上的推测, 但我觉得,呃,只有物理学家才会去推测这个。如果他是 生物学家,就不会没完没了地说方程有多简短;如果 他是社会学家,就更不会了。所以世界上只有一小部分 可以用非常简短的方程来描述,但我们这里不打算谈 那些。我们要谈的是那些更混乱的部分,试着 弄清楚,如果我们拿不出简短的方程,对这些混乱的部分 能做些什么。接下来故事里的下一个人物是统计学家George Box,他写过 一句话,本质上说所有模型都是错的,但有些是有用的。他的意思是,即便是 F=ma这样漂亮的模型也不完全正确,Einstein等人后来 又对它做了些改进。既然你无论如何都会出错,那何不 务实一点,说我们找个能用的东西,拿到 我们需要的结果,而不用操心是否绝对正确。所以这是一种 不同的解决问题的方式。那我们就借鉴Box的启发,试着 用一个简单的模型来解决问题,我们拿预测 下一次月食的日期作为问题。呃,我本可以采取Newton的做法, 用F=ma和引力常数把一切算出来,等等,但那样 我就得记住所有那些物理知识。那什么是更简单的模型呢?我 用了我最喜欢的简单模型,我输入了月食日期, 点了第一个结果,因为我信任结果的排序,然后我得到了这个 页面,它真的很好,告诉了我需要的所有日期的答案。 这个页面有点旧了,所以如果我想查明年的,就需要另一个 页面。呃,但这确实是个很好的结果。从某种意义上说这是作弊,因为 得有人懂F=ma才能生成这些结果。呃,但从 另一种意义上说这很天真,因为这和那些方程、和月亮本身一样, 都是世界的一部分,这是世界的一部分,恰好是 由另一个人生成的。呃,但我们在观察世界的这一部分,

HN 上的讨论

Peter Norvig 谈“数据的不合理有效性”[VIDEO] 我认为我们很容易讨论大数据的影响并迅速陷入细节,但我认为在这个演讲中,Norvig 特别出色地让你真正体会到大量数据的可用性对你思考问题的方式可能产生的巨大影响。这是我最早看到的他的东西之一,从那以后我就爱上了。 — ChicagoBoy11, 2016-10
如果你在寻找更多关于使用简单算法处理大量数据的例子和信息,我推荐 Peter Norvig 的“数据的不合理有效性”:[VIDEO] — gpcz, 2013-01
我不确定是否同意文章的中心论点,但论证在许多地方似乎相当薄弱,例如他说:让我们以走进商店购买某种产品的人数为例。通过研究 10 个顾客,你可以得到购买概率的估计并预测销售额;通过研究 100 个顾客,你得到更好的估计。通过分析 1000 个顾客,你有一个非常好的估计。你可以研究一百万个顾客,但结果不太可能与分析 1000 个顾客的结果有巨大差异,而且可能不值得花费。这只对非常低维的数据集有意义,但大多数现实生活中的问题都是非常高维的,在高维空间中,一百万个顾客(或任何你可能合理期望收集的样本数量)很可能仍然只是一个小样本。因此,在某些情况下,由于各种限制,你永远无法达到更多数据不再产生更好结果的水平。你可以观看 Peter Norvig 关于数据不合理有效性的精彩演讲:[VIDEO] 或者阅读著名的维度灾难:[LINK] — stiff, 2012-05
这种情况在域名中经常发生,但然后你会得到 expertsexchange.com、penisland.net、whorepresents.com、therapistfinder.com、一个荷兰赛前分析网站 voorspel.nl,或者一个关于游戏 overspel.nl 的网站。Peter Norvig - 数据的不合理有效性 [VIDEO] — DonHopkins, 2026-02
这是旧闻了:Peter Norvig,数据的不合理有效性(2011):[VIDEO] 以及 2009 年的一篇文章:[LINK] — wslh, 2015-11

相关视频