“用确定性模拟测试分布式系统” by Will Wilson
"Testing Distributed Systems w/ Deterministic Simulation" by Will Wilson
频道:Strange Loop Conference · 时长:40:20 · 发布:2014-09-20 · 播放:55933
简介
FoundationDB 的 Will Wilson 解释了团队如何使用确定性模拟测试他们的分布式数据库。通过在模拟器中运行整个系统并注入故障和可重现的种子,他们能够发现罕见的并发和网络错误。
HN 为什么推荐
HN 将其视为模拟测试的经典演讲,也是严格测试能走多远的令人惊叹的例子。
这是关于分布式系统最令人惊叹的演讲之一。 — HN, 2018
测试、调试与开发者工具 · 数据库与存储 · 分布式系统
中文字幕节选
好的,大家早上好,呃,我叫 Will,在 FoundationDB 工作,如果 你没听说过我们,我们做的是一个可扩展、容错的数据库,支持 ACID 事务。不过今天我不是来讲这个的,呃,相反,我要 讲讲模拟测试,以及它为什么可能让你的生活更轻松。所以我想 从一个观察开始,我希望在座各位都同意,那就是 调试分布式系统总比拿叉子戳眼睛好,呃, 但也没好到哪去,实际上,实际上惊人地接近。嗯, 人们会告诉你很多理由来解释为什么是这样,呃,我听到的最常见的 一个理由是它们很复杂,我承认这是真的, 它们确实复杂,调试复杂的东西比调试简单的东西更难, 但我想提出,这并不是它们真正难以调试的 真正原因。嗯,为了看看真正的原因,让我们看一个超级简单的例子, 左边有一个服务器,右边有一个服务器,右边的 服务器要发送一个数据包给左边的服务器,这是一个非幂等的 数据包,这意味着如果它被接收两次,效果和 接收一次不同,而左边的服务器有一个 bug,就是它不 检查数据包被接收了多少次,但你知道这个 bug 从未 显现出来,它是无症状的,因为你知道网络总是正常的,所以右边 的服务器发送一个数据包,它消失在时间扭曲中,因为网络 很神秘,你知道有人配置错了交换机,某个疯狂的路由器把它发到了 中国,嗯,迟早会像你希望分布式系统那样发生重试, 然后这个数据包从时间扭曲中出现,一切都着火了 爆炸了,你丢失了数据,一切都成了灾难,你就像哦太好了,我 现在可以调试这个了。所以你重新设置一切,再次运行你的系统, 这次它运行正常,你就像好吧,我得让它再崩溃一次,这样 我才能调试它,所以你再次设置,它运行正常,它可能就一直 正常运行,因为这里的这个随机网络条件超级短暂, 超级罕见,取决于荒谬精确的时序,嗯,你永远无法让它 再次出现。它很可能会再次出现,可能在客户现场,嗯,但你 无法让它发生,你无法追踪到这个 bug,更糟糕的是,一旦你认为你 修复了这个 bug,你无法验证你是否真的修复了它。再举一个例子,呃, 只是为了建立我们的直觉,同样的设置,左边的服务器,右边的 服务器,右边的服务器要发送两个数据包,它按顺序发送它们, 数据包 A 然后数据包 B,它的契约中并没有规定必须按那个 顺序发送,只是因为我们都是正常人,对吧,所以当我们编程发送两个 数据包时,我们输入发送 A 然后发送 B,我们不会输入你知道掷骰子,50% 几率 发送 A 发送 B,然后 50% 几率发送 B 发送 A,这不是人类会做的,呃,所以它只是 总是碰巧先发送 A 然后 B。不幸的是,左边的服务器 以为那是契约,以为那总是会发生。嗯,你看到 这走向哪里了,现在 A 消失在时间扭曲中,B 先出现,然后 A,然后 世界爆炸了,呃,祝你好运调试这个。所以真正的,所以表面 层面的问题是我们没有可重复性,我们调试的真正问题是 混乱肮脏的宇宙侵入了我们美丽纯净的纯函数
HN 上的讨论
“FDB 可以仅用 f+1 个副本容忍 f 个故障。” 等一下,我知道那个公式... Viewstamped Replication??我需要阅读 FoundationDB 的论文。(我主要阅读 CRDT 相关的内容,所以希望它容易理解)。--- 总的来说,我对 FoundationDB 的人们印象深刻。Will Wilson 的演讲“Testing Distributed Systems w/ Deterministic Simulation”让我大开眼界。TL;DR 他们将大部分初始开发精力投入到制作数据库的模拟上,然后当他们满意时,最后插入真实的存储、时间和网络。对于任何对分布式系统和可靠性感兴趣的人来说,非常值得一看。[VIDEO] — LAC-Tech, 2023-09
这是Will Wilson在2014年Strangeloop上关于FoundationDB模拟测试的另一个精彩演讲:[VIDEO] — sgk284, 2021-06
太激动了。这应该会让折腾入门变得容易得多。我一直在考虑去参加FoundationDB峰会,希望能学到更多……有人有好的学习资源吗?我试过几次,但发现文档有点难懂。也许我只是太笨了。另外,如果你还没看过,这是我看过的关于分布式系统的最精彩的演讲之一(因为它是关于测试它们的)(由FoundationDB的Will Wilson在苹果收购前所做):[VIDEO] 真正令人难以置信的是FoundationDB在其用例中应该有多好,而这个Mongo层在帮助采用方面简直是太棒了。 — rubyn00bie, 2018-11
这个关于Foundation DB的演讲最近被提到,它非常棒。我推荐观看整个演讲,但简而言之,他们通过确定性来驯服“无限交错”问题。Will Wilson的“使用确定性模拟测试分布式系统”[VIDEO] 他们编写了一个有趣的Actor DSL,可以编译成C++并且完全确定性,他们每晚在集群上用生成的测试用例折磨这个确定性引擎。我想你可以说整个集群必然是非确定性的,但单个节点是确定性的,给定它接收到的消息的顺序。 — chubot, 2018-05
他们的一位工程师在Strangeloop上做了一个很棒的演讲([VIDEO]),展示了他们对FoundationDB进行的一些惊人模拟。如果你想了解他们为了让这个数据库脱颖而出而对其进行的严酷测试,这很值得一看。 — teeray, 2015-03
相关视频
- 应对不断变化的世界秩序的原则,作者 Ray Dalio · Principles by Ray Dalio · 43:42
- John Carmack 与 UMKC-SCE 的技术讲座 · UMKC School of Science and Engineering · 1:20:28
- Yaron Minsky 的“数据驱动的 UI,增量式” · Strange Loop Conference · 36:18
- 也许不 - Rich Hickey · ClojureTV · 1:03:28
- Python中的整洁架构 · Next Day Video · 49:53
- GopherCon 2016:Go 汇编器的设计 - Rob Pike · Gopher Academy · 23:56
- RustConf 2017 - 闭幕主题演讲:安全系统软件与计算的未来 by Joe Duffy · Confreaks · 42:45
- Dtrace 回顾 · GoogleTalksArchive · 1:18:02
- 2017 ACM PPoPP主题演讲:是时候采用新的旧语言了 · Guy Steele · 1:12:12
- Travis Oliphant:NumPy、SciPy、Anaconda、Python与科学编程 | Lex Fridman播客 #224 · Lex Fridman · 3:05:24
- Armin Ronacher - 面向未来世代的 Python · EuroPython Conference · 42:43
- 硅谷秘史 · Google TechTalks · 56:32
- BSD 叙事史,Kirk McKusick 博士 · bsdconferences · 53:54
- Michael Hendricks 谈《生产环境中的 Prolog》 · Strange Loop Conference · 39:57
- TypeScript 类型可以运行 DOOM · Michigan TypeScript · 6:59
- C++Now 2018: Matt Godbolt “我的编译器最近还为我做了什么?” · CppNow · 1:30:03
- CppCon 2017:Matt Godbolt “编译器最近为我做了什么?揭开编译器的盖子” · CppCon · 1:15:45
- 开源经济学 by C J Silverio | JSConf EU 2019 · JSConf · 37:43
- Lucene 索引里有什么?Adrien Grand,Elasticsearch 软件工程师 · LuceneSolrRevolution · 1:04:30
- 自主测试与软件开发的未来 - Will Wilson · The Linux Foundation · 32:01