DuckDB – 面向分析的 SQLite(Mark Raasveldt,CWI)

DuckDB – The SQLite for Analytics (Mark Raasveldt, CWI)

频道:CMU Database Group · 时长:1:08:00 · 发布:2020-04-27 · 播放:28571

在 YouTube 观看

简介

CWI 的 Mark Raasveldt 在 CMU 数据库组的演讲中介绍了 DuckDB,一个可嵌入的分析型数据库,被称为面向分析的 SQLite。他解释了为什么构建它、它的用途以及它如何工作。

HN 为什么推荐

HN 推荐它,认为这是实现者关于 DuckDB 动机和设计的最权威演讲。

其中一位实现者向 CMU 学生讲解 DuckDB 是什么、为什么他们要做它以及它如何工作 — HN, 2020

数据库与存储 · 数据科学与统计

中文字幕节选

所以,呃,我们非常兴奋能请到 CWI 的 Mark Resball 来给我们做一场演讲 今天。呃,Mark 在 CWI 完成了他的博士学位,现在他一半是 博士后,一半还是博士生,因为你还没答辩 对。但你已经是正式的博士后了。 他们按博士后的标准给你发工资吗? 抱歉?他们给你发工资 他们给我的工资差不多是博士后的水平。 就是 所以你现在处于中间状态。 我处于中间状态。我是个 pre-doc。 明白了。不错。不,不,你是 你是 你是 pre-postdoc。 一个 pre-postdoc。一个被推迟的 doc。 被推迟的 doc。好吧。那么,呃,DuckDB 大概是,在我看来,过去两年里 最令人兴奋的学术数据库系统。 正如标题所说,它是面向分析的 SQL 类系统。 所以,我觉得我不需要再多说什么了。 我觉得 Mark 很棒,DuckDB 也很棒,那就开始吧。 非常感谢。 实际上,我们的方式是,呃,大家可以随时取消静音,在 我们进行的过程中向 Mark 提问。 就像 对,没问题。 对。所以,随时都可以,呃,别真的喊出来,但呃,这里有点 晚了,所以我想我的邻居不会喜欢,但尽管问。 没关系。好的,我想我不需要自我介绍了。 我本可以跳过这一页的。 呃,谢谢你的介绍和邀请,Andy。 我也很高兴能来这里。 所以,对,这张照片里我和 Hannes,你们可以看到 Hannes 和我在下面喝 啤酒,差不多是慕尼黑啤酒节的时候。 呃,我们做了 DuckDB,这个数据库系统。 呃,我今天来这里就是为了介绍它。 打断一下,回到那张照片。 大家 回到上一页。 中间那位是 Peter Boncz。 他是 Vectorwise 的发明者。 还有另一位 所以,他们就像 CWI 源源不断地产出惊人的系统。 哦,对。对。对。对,所以 Peter 并没有深度参与实际构建 DuckDB 的代码库,但我们确实经常向他请教 很多。但他实在太忙了,有太多其他事情。 他超级忙。他已经没有多少时间再写那么多代码了,但我们 确实经常和他交流。 我是说,在这一切乱子之前,我们曾经共用一个办公室。 好的。呃,那么,基本上我这个演讲有两个部分。 第一,第一部分是我在 Cider 已经讲过的内容,因为,嗯, 准备新内容已经太晚了。 呃,然后我还有一个附加部分,构建数据库系统的经验教训, 我觉得这很有趣,或者对可能正在 构建系统的人会感兴趣,比如 Andy。 呃 好的。那么,在谈论数据库系统之前,我想先稍微 说明一下我们最初为什么要构建 DuckDB。 而这个动机,某种程度上始于数据科学。 那么,什么是数据科学? 我就叫它 MacBook 上的统计学。 呃,它有一千种不同的说法。 这是个非常重载的术语。 呃,但我觉得关于数据科学家有一点很明显,就是他们 和数据打交道。名字里就有,对吧? 然后就是我们,数据库研究者。 在我们的领域,我们已经工作了 50 多年,我想,一直在完善

HN 上的讨论

如果你是数据科学家或做任何与数据相关的事情……duckdb 就像一把瑞士军刀。它有很多很棒的方式可以帮助你的工作流程。2020 年 CMU 的原始视频 [1] 是经典之作。第 3 到 8 分钟提出了一个很好的论点,说明为什么应该将 duckdb 添加到你的数据清洗/处理工作流程中。如果你想在数据之上添加语义层,Malloy [2] 是我目前最喜欢的(它内置了 duckdb):[1]: [VIDEO] [2]: [LINK] — mrtimo, 2026-04
喜欢他在“把鸭子塞进一切”部分的综述。DuckDB 是一个很棒的工具。2020 年 4 月,DuckDB 的创造者在 CMU 做了一次演讲。一开始,他用 5 分钟提出了一个令人信服的论点,说明为什么数据科学家不使用 RDBMS,以及这如何成为 DuckDB 的起源。这里有一个从演讲开始 3 分钟处开始的视频(论点开始的地方):[VIDEO] — mrtimo, 2025-01
我也在想同样的问题——我猜是因为它相当新(2018 年),而且它来自欧洲一所大学的数据库研究小组,而不是硅谷科技公司。因此,营销预算有限。顺便说一下,这里有一个 DuckDB 实现者之一的 YouTube 视频,讲述了他们为什么制作它、它的用途以及它如何工作:[VIDEO] — kyllo, 2020-05
这里有一个 YouTube 视频,其中一位实现者向 CMU 学生讲述了 DuckDB 是什么、他们为什么制作它以及它如何工作:[VIDEO] 简而言之,它是一个像 SQLite 一样的每数据库一个文件的嵌入式数据库,可以从 PyPI 或 CRAN 安装为 Python 或 R 包,但与 SQLite 不同,它是一个具有向量化操作的列存储,因此在分析查询方面性能更高。 — kyllo, 2020-05
我百分百同意。duckdb 的创造者在他演讲的前 5 分钟里论证了使用 pandas 的人错过了数据库研究 50 年的进步 [1]。我一直在使用 Malloy [2],它编译成 SQL(就像 TypeScript 编译成 JavaScript),所以不用编辑 1000 行的 SQL 脚本,只需要 18 行 Malloy。我很想看到一篇比较 pandas 清洗方法和 SQL/Malloy 方法的博客文章。[1] [VIDEO] [2] [LINK] — mrtimo, 2025-09

相关视频