论文:基于数据流的物化视图中的部分状态
Thesis: Partial State in Dataflow-Based Materialized Views
频道:Jon Gjengset · 时长:45:50 · 发布:2020-10-23 · 播放:17024
简介
Jon Gjengset 2020年在MIT的博士论文演讲,关于基于数据流的物化视图中的部分状态,即Noria数据库背后的理念。问答环节被剪掉。
HN 为什么推荐
HN指向它,包括Gjengset本人,作为比论文文本更容易理解部分状态数据流的方式,主要出现在缓存和数据库讨论中。
几年前的一个更短的演讲,在 — HN, 2022
中文字幕节选
大家好!你好。欢迎来到 Jon Gjengset 的 论文答辩。感谢各位的出席。 在把话筒交给 Jon 之前,我想说几句话。 在研究生涯中,Jon 一直在追求一个非常出色的 愿景:繁忙的网站应该如何管理它们的数据。 看着他发展这个愿景令人兴奋, 而看到他实现它的技巧更是令人印象深刻。 但除了研究之外,Jon 一直是他所接触的所有 社区中极其活跃的贡献者。从他作为助教 无限的耐心,到组织研究生活动, 再到直播系统编程教程。 无论 Jon 着手做什么,他都一定会很有价值, 也会被珍视。如果他的委员会放他走, MIT 的许多人都会想念他。 我当然也会。那么,我就把话筒交给 Jon。 谢谢你,Robert,我很感激! 那么,感谢大家的到来,欢迎 参加我的博士论文报告, 我将在这里展示我的论文,关于基于数据流的 物化视图中的部分状态。 现在,我这次报告的目标是尝试在大约 45 分钟内 总结过去六年的工作。 希望我能成功。至少, 希望到最后,你们能理解 标题中词语的含义。以及为什么我认为 花六年时间做这项工作值得。 别担心,这项工作是有指导的。我的 委员会,你们刚看到的 Robert,还有 Frans、Sam 和 Malte,一直在与我合作, 基本上是在试图弄清楚这个 这项工作是有价值的,并确保从中产生的东西是有价值的。 出来的东西是有价值的。 所以,我想以“我们为什么在这里?”开始这个演讲。 不是从存在主义的角度,比如“我们为什么都在这颗星球上?”。 而更多是从“我为什么在这里?”—— “我为什么要和你们说话?”的角度。 我在这里是因为我想让数据库变得更好。 为了理解我想如何做到这一点, 我们首先需要稍微谈谈什么是数据库, 以便理解一些应用程序在使用它们时遇到的问题。 所以让我们来一点数据库101。 所以这里,在数据库中,你只是取一些表。在这个 情况下,我们将使用一个stories表和一个votes表。 这两个表存储故事和投票。 然后想法是,作为一个应用程序, 你可以通过发出“查询”来查询这些表。 这些查询可以做各种事情,比如 它们可能聚合和组合值,或者它们可能 将不同的表连接在一起,以产生一些应用程序 可能关心的数据。查询操作在这里用橙色显示。 如果你想修改数据,那么你执行一个 “插入”或“更新”或“删除”直接 到底部的表中。所以在这里,如果你 想插入一个新的投票,那么你只需 直接对投票表执行插入操作。 尽管SQL中的插入、更新和删除都是“查询”, 但在本次演讲中我不会这样称呼它们。 相反,我将把查询称为 读取数据的东西。想想SELECT。而插入、 更新和删除,是“写入”或“更新”。 现在我们已经看了这张图,你 你可能会发现这里橙色比蓝色多得多。 这表明,如果你执行读取操作, 你需要做的工作比写入操作更多。 但这是不幸的,因为 在实践中,许多应用,尤其是 Web 应用,都是读密集型的。它们执行的读取操作
HN 上的讨论
:wave: 我是这项研究所基于论文的作者。看到动态的、部分有状态的数据流用于增量物化视图维护变得越来越普遍,我非常兴奋!我一直认为这是一个_绝妙_的想法,它能带来的加速(以及复杂性降低)相当巨大,所以看到更多人基于这个想法构建东西让我非常高兴。PlanetScale 的博客文章引用了我最初的“Noria”OSDI 论文([LINK]),但我实际上更推荐我的博士论文([LINK]),因为它更深入地探讨了其中涉及的一些技术挑战和解决方案。它还有一章(附录 A)通过类比来讲解这一切是如何工作的,非技术背景的读者可能会喜欢 :) 我的论文答辩录音,可能比论文本身更容易理解,也在网上:[VIDEO],以及几年前的一个更短的演讲:[LINK]。Noria 研究原型(用 Rust 编写)在 GitHub 上:[LINK]。正如其他人在评论中已经提到的,我毕业后不久就联合创立了 ReadySet([L… — Jonhoo, 2022-11
很确定这就是 Jon Gjengset[0] 作为其论文项目一部分所研究的那个数据库。他在关于该系统的演讲中分享过好几个视频。这是一个非常有趣的概念。编辑:这里[1]有一个他谈论这个概念的视频 [0]:[LINK] [1]:[VIDEO] — dpcx, 2024-02
这也是 Noria[1] 背后的主要理念之一(由 @jonhoo 构建,他最近还就此做了博士论文答辩[2])[1] [LINK] [2] [VIDEO] — kondu, 2020-10
相关视频
- 如何演讲 · MIT OpenCourseWare · 1:03:42
- 1. 人类行为生物学导论 · Stanford · 57:14
- 领导力实验室:有效写作的艺术 · UChicago Social Sciences · 1:21:51
- MIT 的聚变能之路(IAP 2017)- Zach Hartwig · MIT Plasma Science and Fusion Center · 1:11:39
- 斯坦福 Sapolsky 谈美国抑郁症(完整讲座) · Stanford · 52:28
- 公正:该如何做是好?第 01 集“谋杀的道德侧面” · Harvard University · 54:56
- 第一讲 | MIT 18.06 线性代数,2005 年春季 · MIT OpenCourseWare · 39:49
- “用确定性模拟测试分布式系统” by Will Wilson · Strange Loop Conference · 40:20
- Rich Hickey 谈价值的价值 · InfoQ · 31:43
- 兰迪·波许的最后一课:实现你童年的梦想 · Carnegie Mellon University · 1:16:27
- 第一讲A:Lisp概述与简介 · MIT OpenCourseWare · 1:12:55
- 讲座 1A | MIT 6.001 计算机程序的构造和解释,1986 · MIT OpenCourseWare · 1:12:55
- 你见过的最重要的视频(8 部分之 1) · wonderingmind42 · 9:17
- AWS re:Invent 2018: Amazon DynamoDB 深入探讨:DynamoDB 高级设计模式 (DAT401) · Amazon Web Services · 59:56
- 第一讲 | 机器学习(斯坦福) · Stanford · 1:08:40
- 一个转变的讲师的自白:Eric Mazur · UMBCtube · 1:20:08