高速 Rust——构建快速并发数据库

Rust at speed — building a fast concurrent database

频道:Jon Gjengset · 时长:52:54 · 发布:2019-01-05 · 播放:225927

在 YouTube 观看

简介

Jon Gjengset 在 Two Sigma 的客座讲座,关于使用 Rust 构建大型高性能系统。涵盖为什么 Rust 适合此类项目、Noria 研究数据库、其中使用的并发数据结构以及实践经验。

HN 为什么推荐

HN 指出这是 Noria 作者所做的详细而引人入胜的演讲,包括对使用 unsafe 在映射之间去重数据的良好解释。

做了一个关于该系统的精彩演讲 — HN, 2021

C、C++、Rust、Go 与系统语言 · 软件性能与优化 · 数据库与存储

中文字幕节选

大家好,欢迎各位,我是来自实验室团队的 Larry Rudolph,Lapps 团队的目标之一 就是接触学术界,这是一次特别的演讲,我 在 CSAIL 遇到 John,当时 Trevor 和我在那里讨论固件 安全,我们有了应该使用 Rust 的想法,所以我们见了面,所以有这位 MIT 的 Rust 专家,或者东北部的 Rust 精神,或者全球的 Rust 专家,我不 知道该叫哪个,但他的研究也涉及 数据库,数据库的新方法以及协调和冲突,还有 我真正喜欢的东西,所以邀请他来做演讲时,我说你必须谈谈 这两方面,John 说没问题,我猜他从,我 猜你在澳大利亚读的本科,然后去了伦敦,而我来自 挪威,你知道他走错了方向,然后最终又回来了, 最后到了 MIT,他是我 Tec cell 的研究生,但让我们,他将要 做一个演讲,然后会有深入探讨或扩展的问答,如果你想留下来 提问,但让我们欢迎他 谢谢,我是 John,感谢介绍,我来这里和大家谈谈 Rust 总的来说,特别是关于我在 MIT 一直在构建的一个研究系统 过去三年,它本质上是一个快速的并发数据库,试图 以稍微不同于我们过去设计数据库的方式来设计数据库,我 想传达的一部分是使用 Rust 构建 某种大型且在某种意义上真实的东西是什么感觉,因为我认为这是 人们对 Rust 的许多保留意见,所以我是 John,我是 MIT 并行和 分布式操作系统组的博士生,我研究一个叫做 Noria 的数据库,现在大约有六万行 Rust 代码,我们已经开发了 三年,我还维护几个开源 Rust 库,我在 Rust 的异步 I/O 部分工作很多,我做了大约 30 小时左右的实时 Rust 编码 直播,如果你感兴趣可以在网上找到,所以如果你想看任何 这些,你可以在任何这些 URL 上在线找到我,或者直接给 Larry 发邮件 他会转发给我,我相信他会正确处理,至于这次演讲, 有些内容我们会涵盖,有些不会,我认为 提前设定好很有用,特别是我要看看 Rust 从相对较高的层面来看,我不会深入语法和代码,我 会稍微谈谈 Rust 的所有权,因为这是 Rust 比较新颖的 部分之一,也是很多 Rust 新手感到困难的地方,但我 不会深入探讨这些,我们可以在之后的深入讨论中再做 此外,我还会介绍 Noria 这个新数据库的整体架构,并 特别深入探讨我们为 Noria 设计的一个有趣的数据结构, 希望这能吸引在座的工程师们,我猜 基本上你们都是,我不会过多谈论查询执行、查询 规划等深入的数据库内容,如果你想了解更多,可以阅读 论文或之后来找我聊。总的来说,这次演讲的目的是探讨 在实际中使用 Rust 的更高层面,因此我们首先要 看的是 Rust 是什么样的,我为什么要和你们谈论 Rust 呢, Rust 是 Mozilla 开发的一种编程语言,相对较新,大约四年前

HN 上的讨论

Noria 的作者 Jon Gjengset 就该系统做了一场精彩的演讲:[VIDEO] 达到的速度令人印象深刻,但无法获得一致性。 — Orou, 2021-12
轶事——我最喜欢的YouTube直播人物之一,Jon Gjengset[1]是MIT CSAIL的博士生。他的演讲非常详细[4]且引人入胜[3] [1] [LINK] 演讲 [2] [VIDEO] [3] [LINK] Rust细节(我的最爱) [4] [LINK] — harikb, 2020-06
:wave: 我是这篇工作所基于的论文的作者。看到用于增量物化视图维护的动态、部分状态数据流变得越来越普遍,我非常兴奋!我仍然认为这是一个_绝妙_的想法,它能带来的加速(以及复杂性降低)相当巨大,所以看到更多人基于这个想法构建东西让我非常高兴。PlanetScale的博客文章引用了我最初的“Noria”OSDI论文([LINK]),但我实际上更推荐我的博士论文([LINK]),因为它更深入地探讨了一些技术挑战和解决方案。它还有一章(附录A)通过类比来讲解这一切是如何工作的,非技术背景的读者可能会喜欢 :) 我的论文答辩录音,可能比论文本身更容易消化,也在线提供:[LINK],以及几年前的一个更短的演讲:[VIDEO]。Noria研究原型(用Rust编写)在GitHub上:[LINK]。正如其他人在评论中已经提到的,我毕业后不久就联合创立了ReadySet([LINK]),专门基于Nori… — Jonhoo, 2022-11
他在大约 40 分钟处解释了这一点。[1] “还有 7 行 `unsafe` 代码可以避免保留两个映射。你仍然保留两个映射,但你在两个映射之间去重数据。” [VIDEO] — dpezely, 2019-01

相关视频