Martin Kleppmann 的 "用 Apache Samza 将数据库翻转"

"Turning the database inside out with Apache Samza" by Martin Kleppmann

频道:Strange Loop Conference · 时长:47:42 · 发布:2014-09-21 · 播放:206079

在 YouTube 观看

简介

Martin Kleppmann 认为数据库是全局共享的可变状态,并提议将其视为不断增长的不可变事实日志。然后由 Apache Samza 等流处理器构建缓存、索引和视图等派生数据。演讲借鉴了 Kafka 和 LinkedIn 在提交日志方面的经验。

HN 为什么推荐

评论者多次引用它作为重新定义他们思考缓存、派生数据和事件溯源方式的演讲。

这个关于 Apache Samza 的演讲彻底改变了我对缓存和派生数据的总体思考方式 — HN, 2025

数据库与存储 · 分布式系统

中文字幕节选

嗨,非常感谢大家能来,希望你们在Strange Loop过得非常愉快。 我真的很享受目前为止的时光。嗯,我今天要讲的是如何将数据库 由内而外翻转过来,这是一个关于数据库架构和应用架构的演讲, 它与一个我过去一段时间一直在参与的开源项目有些关联, 这个项目叫做Apache Samza。嗯,我叫Martin Kleppmann,直到最近我还在LinkedIn 从事Samza的工作。目前我正在休假,实际上是在为 O'Reilly写一本书,书名叫《设计数据密集型应用》,封面是一只很棒的 野猪。嗯,这本书的构想是提供一个概念性的 宏观概述,讲述数据系统实际是如何运作的,所以会涉及数据库、缓存、 索引、批处理、流处理,以及所有这些如何协同工作。它们 有一些贯穿所有这些领域的重大共同理念,如果你 能理解这些理念,我的想法是我们都能利用这些底层理念 构建更好的应用。嗯,我们刚刚 在几天前发布了这本书前几章的早期版本。 如果你感兴趣,可以在dataintensive.net上找到。 不管怎样,让我们来谈谈数据库,我指的是 不是任何特定品牌的数据库,我不介意是关系型还是NoSQL 或者其他什么,我更多是在谈论我们在构建应用时 所使用的数据库概念。举个例子,典型的Web应用 架构,你有一些客户端,可能是Web浏览器 或移动应用,嗯,它与某种服务器端系统通信,你可以 称之为后端或其他什么。嗯,这会包含某种业务逻辑, 通常是访问控制规则,接受输入产生输出等等。嗯, 当需要存储某些东西时,它通常会与数据库通信;如果需要 查找某些东西,它会查询数据库。这些都是非常标准、熟悉 的东西。我们通常构建这类东西的方式是让这个 应用层,这个后端,成为无状态的。嗯,这有很多优势, 意味着你可以并行运行越来越多的 后端逻辑进程。嗯,例如,如果你需要处理更多请求,你可以直接 启动更多这样的实例,任何这些实例都同样有资格 处理特定的传入请求。嗯,因为任何所需的状态都会 按请求从数据库中查找。这种方式与HTTP也很契合, 因为HTTP当然是无状态协议。嗯,所以能够 直接轮询到任何应用服务器实例是很好的。然而,这种方法的大问题是 状态必须存放在某处,所以状态必须放在我们的 数据库中。嗯,我们通常使用这些数据库的方式实际上是这种 巨大的全局共享可变状态。这正是那种可怕的 东西,在共享内存并发中,我们长期以来一直试图摆脱它。所有 这些新的、用于构建并发系统的优秀模型,比如使用actor或 Go例程或通道等等,你听过很多关于它们的演讲。嗯,它们都试图 摆脱共享内存并发,在那里你必须担心锁定、 竞态条件、并发修改、死锁以及所有这类问题。 我们试图摆脱这些,但在数据库方面,我们仍然被困在 这个巨大的共享可变状态中。所以值得思考一下,你知道,如果我们 试图在单进程应用架构中摆脱它,那么如果我们试图在整个系统层面 也摆脱这种共享可变状态,会发生什么。

HN 上的讨论

我不知道,我认为缓存是许多设计良好的系统的关键部分。有很多非常可缓存的数据。如果失效事件定义良好,或者数据可以接受陈旧(例如周/月级别的仪表板),那就是使用缓存的绝佳理由。我宁愿直接把这些值塞进缓存,也不愿想出任何其他更复杂的解决方案。我也认为这是大型系统的必要之恶。有时你需要派生数据。你甚至可以把数据库看作一种缓存:“真实”数据是曾经更新数据库中数据的每个事件的流!(是的,这扩展了缓存的含义哈哈)然而,我同意缓存通常是糟糕架构的简单创可贴。这个关于 Apache Samza 的演讲完全改变了我对缓存和派生数据的看法:[VIDEO] 而这个采访对超大规模系统(特别是 Twitter)中缓存面临的问题有一些有趣的见解:[LINK] — chamomeal, 2025-08
嘿 OP,你可能已经看过这个了,但以防你没看到我的另一条评论,你绝对应该看看 Martin Kleppman 的这个演讲。[VIDEO] 它详细介绍了 Apache Samza,我没有完全理解,但它似乎和你在这里谈论的类似。他谈到如果你能本质上使用事件流作为真相来源而不是数据库,并且你有一个足够强大的流处理器,你可以通过消费流事件来定义数据视图。最终结果有点像自动更新的缓存,没有失效问题或竞争条件。需要数据的新视图?只需定义它并将整个事件流通过它运行。一旦流被处理,那个数据源就永远准确和最新。我不是数据库专家,大部分内容都超出了我的理解,但我喜欢这个演讲,我认为你应该看看!这是我读到你的帖子时想到的第一件事。 — chamomeal, 2025-08
作者 Martin Kleppmann 关于“Turning the database inside-out”[0][1] 的演讲是对这些动态的绝佳介绍,我会一直推荐给有经验和无经验的数据建模师和后端开发者。它以如此清晰的方式教学式地介绍了关系数据库中通常的做法,逐字逐句地看,这是我见过的最好的教程之一……但它也编织了一个叙事:“如何能做得更好/更具可扩展性/更可靠/更灵活地满足业务需求”,指向流式/事件溯源架构。你可能或不需要后者,但它是你工具箱中的一个绝佳工具,能够说“啊,这个新需求感觉会从这个架构中受益匪浅。”特别是对于正在开始思考消息队列“为什么”的 OP,这可能是非常有价值的第一步。[0] [VIDEO] [1] [LINK] — btown, 2019-05
是的,我喜欢把它看作没有任何逻辑的事务日志。如果你感兴趣,我强烈推荐 Martin Kleppmann 的演讲“Turning the database inside out”[VIDEO] — lbradstreet, 2018-05
既然这个话题有点火了:这里有一个很棒的演讲,为 Confluent 的文章提供了一些背景,并带领我们通过思考派生数据流来简化复杂的数据库-缓存-用户交互的过程:[VIDEO]。也强烈推荐。 — btown, 2015-04

相关视频