John Hughes - 测试困难的东西并保持理智
John Hughes - Testing the Hard Stuff and Staying Sane
频道:ClojureTV · 时长:47:17 · 发布:2014-03-26 · 播放:39216
简介
QuickCheck的联合创作者John Hughes谈论了困难系统的基于属性的测试。他展示了生产环境中的例子,其中发现了非常底层的错误,包括CAN总线标准中的问题。
HN 为什么推荐
被推荐为基于属性的测试的最佳介绍,并因其在CAN标准中发现错误的例子而被引用。
John Hughes(不是电影制作人)对此做了很好的演讲 — HN, 2022
中文字幕节选
[掌声] 好的。非常感谢你们的邀请。 能来到这里真是莫大的荣幸。 嗯,我想先问大家一个问题。 谁真的真的热爱测试? 哦,好吧,有几个,但但不算很多。 所以,我以前其实也不太喜欢测试,但后来我嗯共同发明了 QuickCheck。那么,为什么测试从根本上来说很难呢? 好吧,假设你在为一个系统编写自动化测试,你有比如说 n 个想要测试的功能。 你打算怎么做? 你可能会为每个功能写三到四个测试,对吧? 这没问题。这是线性的工作量。 但我们都知道这样并不能捕获所有的 bug,因为有些 bug 只有在同时使用两个功能时才会出现。 哦,如果你想测试所有这些可能性,那你就得 编写二次方数量的测试用例。 这听起来开始不那么有趣了。 而且实际上,有些 bug 不只是同时使用两个东西时才会出现。 有时你需要同时使用三个东西才能触发它们。 如果你想测试所有这些情况,你就得编写三次方数量的 测试用例。这真的开始听起来像是一大堆工作了。 那竞态条件呢? 它们是最糟糕的,因为根据定义,竞态条件涉及至少两个 功能之间的交互。 更糟糕的是,它甚至不是每次运行相同测试时都会出现。 所以,你知道,这太可怕了。 这就是为什么测试很难。 你无法测试所有东西。 你无法测试足够多。那么你什么时候才会停下来? 答案是什么?不要写测试。 生成它们。这就是我要讲的内容。 这也是我做了好几年的事情了。 嗯,最初的 Haskell QuickCheck,也许你们很多人接触过,是 我和 Koen 在 15 年前,嗯 2006 年想出来的。 然后我开始在 Erlang 中商业化一个版本,从那以后我们添加了 许多许多扩展,我们为爱立信和沃尔沃 汽车、Basho 以及嗯许多其他公司找到了很多非常有趣的 bug。 那么 QuickCheck 是什么?嗯,它是一个随机测试工具。 我们最常用的方式是拿一个待测 API。 而且嗯,我们想要测试的 API 通常不是纯函数式的 遗憾的是。但就是这样。所以为了测试 API,仅仅进行 一次调用是不够的。我们生成一个随机的调用序列,然后也许那个测试会通过。 如果是这样,我们生成另一个,我们一直这样做,直到生成一个 失败的序列。现在,当一个调用序列测试失败时,事实证明 几乎总是因为那个序列中仅仅几个调用。 所以当你随机生成序列时,你会有很多不相关的 东西嗯混杂在真正触发 bug 的那几个调用中。 所以我们接下来做的是收缩过程,你可能见过 Reid Draper 谈论过。我们搜索那些真正必要的调用来 触发失败,我们生成一个最小的失败示例,然后这就是 我们报告给用户用于调试的内容。 我将向你们展示一个使用 QuickCheck 的例子。 我要测试一小段 C 代码。 这是一个非常简单的例子,但它展示了测试嗯有副作用的代码。 它将是一个循环缓冲区。 所以,会有一个调用来创建一个新的。 这是一个有三个槽位的循环缓冲区。
HN 上的讨论
我建议观看这个 [VIDEO] 来了解这有多强大。我刚刚通过 clojure.spec 发现了生成式测试。为你的数据描述规格不仅有助于验证数据结构,还可以作为属性插入生成式测试。在“顿悟”时刻之后,随之而来的是一种感觉:我浪费了太多时间编写规格只是为了验证数据结构,以及编写规格只是为了看看我的函数是否按预期工作。这是我希望在我的学习轨迹中显而易见的事情之一,就像 vim/emacs 会帮助你更快地编码一样。 — Naomarik, 2016-12
作者之一 John Hughes 几年前在 Clojure West 做了一个关于基于属性的测试的演讲。如果你感兴趣,值得一看:[VIDEO] — devin, 2026-04
我觉得 John Hughes 的这个演讲表明,这种方法在各种复杂程度的生产系统中具有真正的价值,并给出了两个不同的例子,说明使用这种方法可以发现传统方法中你永远不会想到要测试的非常低级的 bug。[VIDEO] — robertfw, 2025-11
当然,Haskell 有更常规的测试基础设施可用(例如 [LINK]),但我最喜欢的 Haskell 测试是 QuickCheck,据我所知,它起源于 Haskell,并已在其他语言中重新实现,效果和与原项目的关联程度各不相同。John Hughes(不是电影制作人)对此做了一个很棒的演讲:[VIDEO] — dllthomas, 2022-10
可能是因为来自各种传感器和系统的数据量。顺便说一句,CAN 标准充满了 bug:[VIDEO] 在 26:18 — troupo, 2023-11
相关视频
- Rich Hickey 的“Transducers” · Strange Loop Conference · 45:00
- Brian Goetz - 管理:令人清醒的部分 · ClojureTV · 1:03:30
- Lenses, Folds, and Traversals · Edward Kmett · 1:54:45
- 你能看这个而不生气吗? · CGP Grey · 6:16
- Ruby Conf 12 - Y Not- 函数式编程历险记 by Jim Weirich · Confreaks · 53:21
- RailsConf 2014 - Sandi Metz 谈所有的小细节 · Confreaks · 38:47
- Erlang和Elixir的灵魂 • Sasa Juric • GOTO 2019 · GOTO Conferences · 42:02
- “简单造就易用” - Rich Hickey (2011) · Strange Loop Conference · 1:01:38
- Richard Feldman 谈“让不可能的状态不可能” · elm-conf · 25:06
- William Byrd 谈“有史以来最美丽的程序” [PWL NYC] · PapersWeLove · 1:31:05
- “用确定性模拟测试分布式系统” by Will Wilson · Strange Loop Conference · 40:20
- 🚀 TDD,哪里出错了(Ian Cooper) · DevTernity Conference · 1:03:55
- Bret Victor - 在原则中发明 · Rui Oliveira · 54:20
- Rich Hickey 谈价值的价值 · InfoQ · 31:43
- 为什么函数式编程没有成为主流?—— Richard Feldman · Metosin · 46:09
- 也许不 - Rich Hickey · ClojureTV · 1:03:28