Google Developers Day US - 从数据中理论化
Google Developers Day US - Theorizing from Data
频道:GoogleDeveloperDay · 时长:52:51 · 发布:2007-06-05 · 播放:26920
简介
Peter Norvig 在 2007 年 Google 的演讲,关于从数据中理论化,涵盖了海量数据集在语言理解、翻译、信息提取和推理方面能做什么。它主张更多的数据往往胜过更聪明的模型。
HN 为什么推荐
HN 推荐它作为对 Google 的统计、数据优先方法为何有效的清晰解释。
如果你以前没看过,绝对应该看看。 — HN, 2008
机器学习与深度学习 · 计算机视觉、语音与 NLP · 数据科学与统计
中文字幕节选
女士们,先生们,请欢迎彼得 [掌声] 诺维格。好的。呃,大家下午好。 感谢各位光临。呃,这是漫长一天的尾声,所以恭喜大家 坚持到底,还醒着。 呃,今天我要跟大家稍微谈谈呃,数据,以及它为什么好。 作为一点介绍,我想谈谈我最初是怎么来到 谷歌的。那是2001年,距今已经相当久了。 在那之前,我一直在呃 NASA 工作,当时我在那里负责计算机科学 和机器人小组。 所以,那是一份相当令人兴奋的工作。 你知道,我们参与开发了运行在火星漫游车上的软件,这些漫游车 如今已经如此成功地在上面漫游。 人们问我,呃,彼得,你为什么要放弃那个,去这家 可能成功也可能失败的小小初创公司? 我说,嗯,你知道,我受到了一个叫威利·萨顿的人的触动,他是20世纪40年代 的一个银行劫匪。当他们抓住他时,他们说,威利,你为什么抢 银行?他说,因为钱在那儿。 所以他们问我,彼得,你为什么想去谷歌? 我说,因为数据在那儿。 作为一个从事计算机科学、尤其是人工智能工作的人, 我说,你知道,取得进步的方法就是拥有更多数据。 聪明并想出好算法等等固然很好,但如果你没有 数据,你就无法取得进步。 所以在这个演讲中,我想解释我这么说是什么意思。 这里还有一点灵感来自这位夏洛克·福尔摩斯,他说 在拥有数据之前就进行理论化是极大的错误。 大家都把福尔摩斯看作呃逻辑思维的典范,认为他 能得到正确答案。他抓住坏人是因为他太聪明了。 呃,但实际上并不完全是这样。 所以首先呃,当你想到他的呃推理时,与其说他 有逻辑,不如说——你在这里看到,他谈到权衡概率并选择 最可能的,你无法精确地说一个普通人能做什么,但 你可以呃从统计上说,所以结论实际上是福尔摩斯是 一个贝叶斯概率主义者,根本不是逻辑学家,呃,这就是他进行 推理的方式。这是因为他有更好的数据,当然也因为他关注 数据,而不是因为他聪明得多。 呃,现在顺便呃说一句,我当时正在读这个特定的故事, 标题引语就出自它。 在故事中呃,福尔摩斯收到一条送到他家的消息。 你知道,在那个年代,邮件一天会送呃八次。 有点像今天的电子邮件。 呃,他收到这条消息,上面说今晚有人要拜访你,一位绅士 来自欧洲王室,事关重大,你知道,我当时 读着这个故事,看着这条消息,说,你知道,其中某些 措辞看起来有点眼熟,我收到很多这样的消息,呃,所以我把 这段文字给了保罗·格雷厄姆,他有那个呃贝叶斯垃圾邮件检测器,他说 不过很遗憾,它不是垃圾邮件,尽管其情感倾向似乎 和我从尼日利亚王室收到的消息差不多。 显然,用词差异足够大,没有触发垃圾邮件 过滤器。果然,在7点45分,那个人真的出现了。 所以,在福尔摩斯的情况下,它不是垃圾邮件。 嗯,但回到数据和概率这个想法。 所以,我查看了计算语言学会议中论文的呃标题。 我只看了标题。 我没时间看整篇论文或摘要,只看标题中是否包含 像统计或概率这样的词,或与之相关的词。
HN 上的讨论
他特别关注这个想法的一个演讲,包括研究文献中的事实和数据,是他不久前做的一个名为“从数据中理论化”的演讲:[VIDEO]。如果你以前没看过,你一定要看看。Norvig表达他的观点略有不同:当然,对算法聪明是好的。但直到你获得大量数据,你通常甚至无法公平地评估不同的算法。只有当你不再从更多数据中获得显著收益时,你才应该开始考虑成为算法聪明人。 — henning, 2008-03
如果你真的以为他们所做的就这些,那你就太不了解他们的一些工作有多么精妙绝伦了。彼得·诺维格比我更能解释清楚其中的一些。 [VIDEO] — timcederman, 2009-08
[[VIDEO]] 这是一个很好的演讲,虽然也许应该被称为“从大量数据中理论化”。让你想知道谷歌目前隐藏了什么,以及powerset方法如何竞争,除了可能针对特定领域的东西。 — dood, 2007-12
我喜欢他们向你展示源页面、置信度和数据的替代来源。然而,它遭受了经典的谷歌应用问题;它做了有趣的事情,但看起来丑陋,通常不吸引人。我很难解释为什么,但尽管我对这项技术感兴趣,我只是不喜欢使用它。但这是有趣的东西,自从观看2007年的Norvig演讲[[VIDEO]]以来,我一直在想什么时候会出现这样的东西。 — dood, 2009-06
人类直觉地和无意识地解决了很多复杂性。这不是一种本质上不好的处理方式,只是与当前的编程范式不兼容。这并不是要贬低人类清晰明确思考的价值,只是说编程会从将常识应用于平凡事物的能力中受益匪浅。对于一些戏剧性的证据表明不精确更好并且确实有效,看看谷歌的成功和语义网的非交付。谷歌的方法可能最好由Peter Norvig在他的“从数据中理论化”讲座中解释:[VIDEO] 自然语言处理的最先进技术是通过统计推断实现的,而不是构建精确的语言模型。参见例如Marti Hearst的文本:[LINK] 回到编程语言,我相信Ruby/Rails的很多成功归功于在DSL中模仿自然语言。Rails甚至使用了复数化。DSL带来了便利,但代价是理解较少:人们倾向于直观地使用它们,而不精确理解发生了什么,比使用库/框架时更甚。Perl同样是在考虑语言原则的情况下创建的:[LINK] 这绝不是决定性的证据,但我相信有一… — ntoshev, 2008-03
相关视频
- NeXTSTEP Release 3 演示 · blatherskyte · 35:09
- 三千万行代码问题 · Molly Rocket · 1:48:55
- 神经网络和反向传播的详细入门:构建micrograd · Andrej Karpathy · 2:25:52
- 但什么是神经网络?| 深度学习第一章 · 3Blue1Brown · 18:40
- Matplotlib 更好的默认颜色映射 | SciPy 2015 | Nathaniel Smith 和 Stéfan van der Walt · Enthought · 19:08
- AlphaGo - 电影 | 完整获奖纪录片 · Google DeepMind · 1:30:28
- Transformer,LLM 背后的技术 | 深度学习第 5 章 · 3Blue1Brown · 27:14
- USENIX Security '18-Q:为什么主题演讲者不断建议改进安全性是可能的? · USENIX · 51:22
- 第一讲 | 机器学习(斯坦福) · Stanford · 1:08:40
- MarI/O - 视频游戏机器学习 · SethBling · 5:57
- 深入探讨 ChatGPT 等 LLM · Andrej Karpathy · 3:31:23
- 学会玩经典 NES 游戏的计算机程序 · suckerpinch · 16:17
- David Silver 强化学习课程 - 第一讲:强化学习导论 · Google DeepMind · 1:28:12
- 大多数已发表的研究都是错的吗? · Veritasium · 12:22
- 让我们从头构建 GPT:用代码,详细解释。 · Andrej Karpathy · 1:56:20
- 湾区视觉会议:无监督特征学习和深度学习 · Google TechTalks · 48:10