Michael Stonebraker | 大数据(至少)是四个不同的问题
Michael Stonebraker | Big Data is (at least) Four Different Problems
频道:Michigan Engineering · 时长:55:53 · 发布:2015-12-04 · 播放:29665
简介
数据库先驱 Michael Stonebraker 主张,“大数据”实际上至少是四个不同的问题:小分析大容量、大分析、速度和多样性。他评论了每个市场的走向。
HN 为什么推荐
HN 指出它是一位图灵奖得主深思熟虑、从第一原理出发的观点,能穿透 NoSQL 和大数据的炒作。
一位非常深思熟虑的图灵奖得主工程师 Michael Stonebraker 的一场相当有趣的演讲 — HN, 2017
中文字幕节选
[掌声] 首先我想说的是,我是唯一一个 应该站着的人,所以如果你们想下来坐在地板上或者 什么的,你们知道的,或者随便怎样,总之只有必须的时候才站着 好吧,我记不清我告诉你们我要用的实际标题是什么了 但不管怎样,这次要讲的是大数据,所以我喜欢 这样想:如果你遇到了三个V中的一个,你就有大数据问题,呃 第一个是你有太多太多数据,你很难 管理它,呃第二个是数据来得太快,你跟不上, 第三个是数据来自太多地方,你有一个数据 集成问题,所以我要谈谈这三种情况,它们都 完全不同,在大数据量中,我要谈两个不同的用例 呃一个与商业智能有关,另一个与 数据科学有关,我会试着给你们一堆关于我认为 这三个类别中各种呃产品的看法,所以如果你 有大量数据,而你想做的只是SQL分析,意思是商业 智能的东西,你会称之为商业智能,我知道有几十个 生产数据库系统在这个世界上管理着多个拍字节的数据, 日复一日地运行,呃你知道,在各种 软件平台上,所以我知道的最大的一个是叫Zynga的公司,呃 那些是做Farmville的人,我可以肯定地说我从未玩过Farmville 但显然你们很多人玩,所以每次在任何 Zynga游戏中有任何点击,包括Farmville,他们都在Vertica数据 仓库中记录那个点击,现在大约是5拍字节,运行在几百台服务器上, 呃它被Zynga的业务分析师用来试图弄清楚如何向你 销售更多虚拟商品,所以如果你只想做商业智能,就去买一个 商业呃数据仓库产品,呃它们,它们全部或其中一堆 在大规模上表现良好,然而我想指出的一件事是,过去10年 发生了巨大的变化,所以如果你去看看2005年左右的数据仓库 产品,它们都是所谓的行存储,也就是说如果你 看存储中的下一个东西,是同一条记录,下一个 属性,所以每一个数据仓库产品,我在幻灯片底部 列出了一堆,它们都是行存储,呃如果你今天去看, 呃基本上每个人都转换到了列存储,所以存储中的下一个东西 是同一个属性,但在下一条记录中,所以拿一个行存储, 旋转90度,这就是现在所做的,所以有一个完整的市场 从行存储转向列存储,那么为什么会发生这种情况呢?列存储 在人们想要运行的数据仓库呃查询中比行存储快大约50倍, 所以如果你在卖行存储,你面对的是一个技术 障碍,差了几个数量级,所以从2005年左右开始,呃 我想说Vertica与此有关,呃它导致了 市场的彻底转变,基本上所有成功的供应商都将 必须运行shared nothing可扩展的多节点列存储,而且大多数 人,Oracle是一个明显的例外,在过去10年中已经从 他们过去拥有的转换到了呃列存储,所以Oracle,它吹捧一个 叫做Exadata的东西,呃Oracle不是列存储,即使他们的营销 信息说是混合的东西,好吧,他们不是列存储,他们是行存储, 他们也不是可扩展的shared nothing架构,呃所以但其他所有人
HN 上的讨论
我第一次听说 3 个 V 是在 Michael Stonebreaker 的演讲中[1]。对于不了解的人来说,他是 DBMS 领域的传奇人物,图灵奖得主[2]。强烈推荐他这次及相关演讲,大多数都在 YouTube 上。[1] [VIDEO] [2] [LINK] — vishnugupta, 2024-05
每当我看到一个年轻易受骗的工程师,眼睛闪闪发光,被 MongoDB 的炒作(或任何其他 NoSQL 炒作)迷得神魂颠倒时,我就会给他发一个链接 [1],指向一位非常有思想的图灵奖得主工程师 Michael Stonebraker 的一次相当有趣的演讲。NoSQL 的魅力需要几天才会消退,但最终他们总会明白自己是如何在没有合理批判的情况下被愚弄而相信的。[1] [VIDEO] — edejong, 2017-08
我在为公司设计数据架构时读了红皮书。(另一本书是 Martin Kleppmann 的《设计数据密集型应用》)Stonebraker 等人非常有主见(尤其是关于 SQL 和关系数据库),但这种方式我可以接受,因为他的很多思考基于第一性原理。Stonebraker 还拥有一系列数据库成功案例(Ingres、Postgres、Vertica 等),这给了他足够的信誉,证明他不仅仅是在象牙塔里空谈理论。他的每个观点不一定都正确,但他的观点很有趣,值得考虑。我很喜欢他关于“为什么大数据至少是 4 个不同问题”的演讲 [VIDEO] — wenc, 2020-06
是的,单独看那份幻灯片确实像广告,所以最好先了解一下 Michael Stonebraker 的“大局观”信念和核心前提:++ 他相信 SQL 是“正确”且经过最多验证的访问模型。(注意 SQL 并不意味着像 Oracle/MSSQL 那样的 RDBMS。)++ 他相信 ACID。++ 他认为其他数据库引擎(NoSQL 等)通过牺牲 SQL 和 ACID 来提升集群速度和扩展性的做法是错误的,他的证据是那些其他产品最终还是会补上 SQL 和 ACID。我认为一个能更好阐述这些想法的演示是下面这个 YouTube 视频:[VIDEO] 时长 55 分钟,为了节省时间,HN 读者可能更愿意按“L”键快速浏览。只需阅读他身后的幻灯片,如果要点看起来有趣,就倒回去听他的演讲。人们可以单独思考 SQL/ACID 的优点,并单独考虑 VoltDB 作为产品是否实现了这些理想。 — jasode, 2016-04
Stonebraker最近在我的学校做了一次演讲,关于他认为数据库未来的发展方向[0]。绝对值得一看。[0] [VIDEO] — mattste, 2015-12
相关视频
- 价值 2 亿美元的微芯片印刷机:EUV 光刻系统 · Branch Education · 38:31
- 1942 年中途岛海战:从日本视角讲述(1/3) · Montemayor · 41:46
- 为什么 Spotify 最终会失败 · Benn Jordan · 17:19
- 棕色;颜色真奇怪 · Technology Connections · 21:14
- 小飞机飞越大洋(ETOPS 详解) · Wendover Productions · 8:57
- Starlink 卫星互联网是如何工作的?📡☄🖥 · Branch Education · 28:08
- 大飞机 vs 小飞机(长途航线的经济学) · Wendover Productions · 10:08
- 全球亿万富翁的阶层:并非所有亿万富翁都生而平等 · Economics Explained · 16:21
- 廉价航空公司如何运作 · Wendover Productions · 8:28
- 思想的素材 | 史蒂芬·平克 | Talks at Google · Talks at Google · 1:15:04
- 为《Crafting Interpreters》绘制插图 · Bob Nystrom · 9:23
- Noam Chomsky:《自由市场?》 · Santarchy · 2:01:00
- Philip Wadler - 命题即类型(Lambda Days 2016) · Erlang Solutions · 56:58
- 范畴论 1.1:动机与哲学 · Bartosz Milewski · 46:46
- 语言对外国人来说听起来是什么样的 · Sara Forsberg · 1:44
- COVID-19 疫苗:MODERNA | PFIZER/BIONTECH | ASTRAZENECA · Ninja Nerd · 43:40
- 服用LSD并改变世界的人 · Veritasium · 33:39
- Velocity 2012:Richard Cook,“复杂系统如何失败” · O'Reilly · 28:20