Martin Kleppmann | Kafka Summit SF 2018 主题演讲(Kafka 是数据库吗?)
Martin Kleppmann | Kafka Summit SF 2018 Keynote (Is Kafka a Database?)
频道:Confluent, an IBM Company · 时长:28:14 · 发布:2018-10-17 · 播放:57037
简介
Martin Kleppmann 在 Kafka Summit 2018 的主题演讲探讨 Kafka 能否被视为数据库。他涵盖了事件日志和相关数据系统概念。
HN 为什么推荐
HN 在 Kafka 作为数据库的辩论中发布它,并作为事件日志和 CQRS 的入门介绍。
如果你感兴趣,看看这个人; — HN, 2020
中文字幕节选
[音乐] 今天上午的第一场主题演讲者,他的名字你们很多人可能 都认识,就我自己而言,因为在我这里的工作中,我实际上花了很多 时间与人谈论流处理和Kafka,你知道,试图 把这些想法灌输到人们的头脑中,我发现其中最成功、 最能引起我交谈过的开发者和架构师共鸣的信息之一, 直接追溯到今天上午的第一位演讲者,那就是 Martin Kleppmann,Martin,请上台 [音乐] 大家早上好,希望你们都很好。我想讨论这个稍微 有些挑衅性的问题,也许Kafka是一个数据库吗?你们觉得Kafka是数据库吗? 我的意思是,有些人会立刻转身说,嗯,如果你 看它,它没有表,没有数据模型,没有二级索引, 你怎么可能认为它是一个数据库?你唯一能做的 就是订阅流,好吧,这没问题,但我想 在这次演讲中更深入地探讨一下,看看我们能围绕这个问题发现什么。 所以为了做到这一点,首先我们需要确定什么才是真正的数据库, 我们所说的数据库是什么意思,是什么让数据库成为数据库? 为了这次演讲,我将使用以下定义:数据库 是具有ACID属性的东西,所以某种具有这些 属性的软件,你们可能从关系数据库世界中熟悉ACID, 这些是我们希望事务具有的属性:原子性、一致性、 隔离性和持久性。在本次演讲的剩余部分,我将 逐一探讨每个字母,详细看看它们意味着什么,以及 我们如何使用Kafka来实现这些属性。那么让我们从 字母D开始,即持久性,因为这在许多方面是最容易处理的。 回到过去,当ACID这个缩写被创造出来时,那是在1980年代初, 当时持久性意味着你将事务日志从数据库写入 归档磁带,这意味着即使数据库出现问题, 你也可以从这个磁带恢复。如今,磁带已经 有些过时了,所以持久性被重新解释为,我们写入 磁盘,执行fsync以确保数据真正到达磁盘盘片, 现在因为这是非易失性存储,即使你的服务器断电, 你也可以期望数据仍然在那个磁盘上。这很合理,所以fsync是 其中的一部分。最近,持久性的定义 也被扩展为包括复制,也就是说,我们不仅希望数据 写入一台机器的磁盘,还希望它被复制到几台 不同的机器上,这样如果你丢失了整个机器,你不会丢失数据, 你可以切换到使用另一台机器上的数据副本。 这两点Kafka都能完美做到。Kafka会将你发布的所有消息 写入磁盘,并将这些消息复制到多台 机器上。所以关于持久性,最后一点我要说的是,一般来说,如果你 想确保不丢失任何数据,备份并拥有某种备份和恢复过程 被认为是个好主意。当然,如果数据库包含重要数据, 你会这样做。同样,如果你在Kafka中有 重要数据,你需要备份它,但这是一个外部过程, 在你设置的软件之外。因此,我认为我们基本上可以 勾选持久性了。我认为Kafka提供了持久性,这没有太多可争论的。 接下来让我们看看A,ACID中的A 代表原子性,这里有一点混淆,关于它 意味着什么,因为如果你熟悉多线程编程,例如,你会遇到
HN 上的讨论
你好 Michael,感谢你的留言!我明白你的意思,你说得有道理!不错!关于 CQRS,它确实是一个非常有趣的概念,而且还能让你轻松扩展。问题在于,人们习惯了关系型数据库的思维方式,很难说服他们。> 这或许可以解释为什么到目前为止,调度队列消息在任何 MQ 中都不是一等公民。完全正确!CQRS 的概念相当古老,但在当年,挑战 Oracle 是很困难的。不过我们正在回归基本原理……如果你感兴趣,看看这个人的分享;[VIDEO] — evangelosdotnl, 2020-03
与讨论相关:Martin Kleppmann | Kafka Summit SF 2018 主题演讲(Kafka 是数据库吗?)[1] [1] [VIDEO] — diehunde, 2020-12
酷!可以制作类似的东西,比如Martin Kleppmann在他的演示中使用的幻灯片,例如[VIDEO] 我不知道他是自己画的,还是使用框架来创建的。有人知道他使用什么吗? — planetjones, 2018-11
相关视频
- Erlang和Elixir的灵魂 • Sasa Juric • GOTO 2019 · GOTO Conferences · 42:02
- “用确定性模拟测试分布式系统” by Will Wilson · Strange Loop Conference · 40:20
- Rich Hickey 谈价值的价值 · InfoQ · 31:43
- AWS re:Invent 2018: Amazon DynamoDB 深入探讨:DynamoDB 高级设计模式 (DAT401) · Amazon Web Services · 59:56
- Erlang Factory 2014 - 那是带 'B' 的 'Billion':在 WhatsApp 扩展到下一个级别 · Erlang Solutions · 49:15
- Martin Kleppmann 的 "用 Apache Samza 将数据库翻转" · Strange Loop Conference · 47:42
- 系统的语言 - Rich Hickey · ClojureTV · 1:02:49
- Google I/O 2012 - Go 并发模式 · Google for Developers · 51:27
- 最终一致性的冲突解决 • Martin Kleppmann • GOTO 2016 · GOTO Conferences · 51:35
- “Unison:一种新的分布式编程语言” by Paul Chiusano · Strange Loop Conference · 41:05
- 01 - 课程介绍与关系模型(CMU 数据库系统 / 2019 年秋季) · CMU Database Group · 1:06:44
- Paxos 讲座(Raft 用户研究) · Diego Ongaro · 1:06:33
- NoSQL 简介 • Martin Fowler • GOTO 2012 · GOTO Conferences · 54:51
- Hewitt、Meijer 和 Szyperski:Actor 模型(你想知道的一切...) · jasonofthel33t · 42:34
- Rich Hickey在1080p中吐槽HttpServletRequest:来自Clojure Made Simple的死于特异性 · Fred Overflow · 4:56
- TigerStyle!(或者如何在更短时间内设计更安全的系统) by Joran Dirk Greef · TigerBeetle · 1:01:59