Zach Tellman - 一切皆流
Zach Tellman - Everything Will Flow
频道:ClojureTV · 时长:40:12 · 发布:2015-04-22 · 播放:26585
简介
Zach Tellman 在 Clojure West 的演讲涵盖了排队论的基础知识及其在系统中的实际应用,包括背压、队列在负载下如何崩溃,以及朴素使用 core.async 的陷阱。
HN 为什么推荐
HN 推荐它作为对队列、流控制和过载的精彩解释,其应用远超 Clojure。
他谈论了队列以及它们在负载下如何崩溃。 — HN, 2017
中文字幕节选
所以我们今天来聊聊队列,你们可能有人想过 为什么队列其实挺简单的,对吧?你有一个生产者往里发消息 你有一个消费者从里面取消息,通常但不总是按照 它们被添加的顺序,差不多就是这样。但可能不太明显的是 除了入队是一个副作用之外,对吧?我们得到的只是 一个确认消息已被添加,因为我们拿回来的并不是数据的函数 数据本身只能描述一个副作用,对吧?队列是一种 处理动作的方式,因此我认为在 Clojure 社区里 它一直有点边缘化,对吧?你知道 Java 给我们提供了队列,我们偶尔 用用它们,尽可能对它们做抽象,但我们并没有真正 正面处理它们,或者说至少直到有了 core.async,它才把这件事 带入了核心讨论,我觉得这是好事,因为我们 当然是在做让计算机做事的工作,对吧?我们不只是 提高房间的环境温度。所以深入底层看,一个 core.async channel 不止有一个队列,而是三个。它有一个缓冲区来存放消息,但它 还有一个 puts 队列,试图往满缓冲区添加消息的生产者会 在那里等待,还有一个 takes 队列,试图从空缓冲区取消息的消费者 会在那里等待。但一旦我们大致走完这一遍,生产者 成功把消息交给消费者,这并不是故事的 终点,因为消费者提供了一个回调,在其中说明它想 对消息做什么,而这个回调必须在线程池上运行,而 Java 中的 线程池还有另一个队列,位于想要某事完成的人 和能完成它的队列之间。通常线程池的大小是 动态的,导致线程池增长的原因是试图往 阻塞队列添加东西,发现队列已满,此时就会 启动一个新线程,除非我们已经达到了最大线程数,无论我们定义 为多少,那样的话它会抛出 RejectedExecutionException,这是 使用线程池时我们应该始终注意的事情。而底层的 阻塞队列看起来和 core.async 非常像,它有一个缓冲区存放消息 还有叫做条件或条件队列的东西,分别叫做 not full 和 not empty。不过和典型的队列不同,它只是线程 停放自己的地方,并没有实际的信息传递。所以当 生产者进来发现缓冲区已满,它会释放所有锁, 把自己停在 not full 条件上,等待被通知缓冲区 不满。当它被通知时,只有等待在那里的线程中的一个 会被唤醒。这些条件埋在 JVM 实现的 某个地方,我不太确定它们如何工作,但它们是线程 之间相互协调的一种方式。但即使那些操作系统层面的线程 也有另一个队列,它们在其中被调度,甚至 那些软件线程也必须排队到硬件线程或我们机器上的 核心上。所以在我们和我们想让计算机做的所有事情之间 大概有半打左右的队列在中间调解, 所以队列无处不在,它们到处都是,某种程度上我们应该 理解它们。队列如此普遍的原因是它们 把我们希望发生的事情和它何时发生分开了,这真的 很有价值,因为大多数时候我们写代码时不知道还有什么 在发生,我们不知道它运行的上下文,不知道还有什么其他
HN 上的讨论
是的,这是真的,通常你希望将阻塞函数排除在外。默认情况下,core.async分配的线程数与CPU核心数一样多。除此之外,我个人发现core.async在处理流控制方面表现不佳(例如,慢订阅者会减慢每个订阅者的整个流),并且似乎没有很多遥测数据/很难找出其背后的线程池中发生了什么。我个人选择了Zach Tellman的Manifold库,它提供了更合理的抽象,并且与core.async完全兼容。关于这些主题的一些额外思考和材料,我强烈推荐观看Zach的这个演讲,“Everything Will Flow” [VIDEO] — stingraycharles, 2019-02
不。看看Zach Tellman的这个视频。他谈到了队列以及它们如何在负载下崩溃。他指出的一点最不直观的是,当你拥有更多处理器时,崩溃往往更像是一个阶跃函数:一切运行顺利,直到突然不顺利。[VIDEO] 他提出的观点源于基本的队列理论,适用于各种系统,以及这些系统如何对负载做出反应。这与特定硬件关系不大,而与基本数学密切相关。 — lkrubner, 2017-08
关于处理背压,我推荐Zach Tellman在他的视频“Everything will flow”中所写的内容:[VIDEO] Tellman还讲述了他自己关于类似系统的冒险:“一个系统会陷入过载状态,因为在过载时,它会以足够高的严重级别记录错误,迫使日志文件在每一行都被刷新”他谈到了在写入Amazon S3时遇到的一些问题,当S3停止接受请求时。这是一个引人入胜的演讲。 — susan_hall, 2016-08
Zach Tellman的任何作品:[LINK] [LINK] 就他的思想而言,观看“Always be composing”:[LINK] 他在“Everything will flow”中提供了关于队列和背压的一些伟大想法:[VIDEO] — lkrubner, 2016-03
另请参阅ClojureWest上关于系统架构中队列的精彩视频:[VIDEO] 队列无处不在——你的消息队列、线程池、硬件线程,以及你使用的其他堆栈层和API。视频补充了一个有趣的细节:当你增加更多柜员(工作者)时,你只能从异常值p99(或更高)延迟中了解到即将发生的灾难;等到你的p85延迟上升时,你已经快要停滞了。 — cabacon, 2015-06
相关视频
- Rich Hickey 谈价值的价值 · InfoQ · 31:43
- “敏捷与稳健:Clojure spec” by Stuart Halloway · Strange Loop Conference · 39:59
- Ruby Conf 12 - Y Not- 函数式编程历险记 by Jim Weirich · Confreaks · 53:21
- Python如何被泄漏的内部机制塑造,Armin Ronacher,Flask框架 · Видео с мероприятий {speach! · 49:55
- Erlang和Elixir的灵魂 • Sasa Juric • GOTO 2019 · GOTO Conferences · 42:02
- “简单造就易用” - Rich Hickey (2011) · Strange Loop Conference · 1:01:38
- Richard Feldman 谈“让不可能的状态不可能” · elm-conf · 25:06
- CppCon 2015:Andrei Alexandrescu “std::allocator...” · CppCon · 1:12:27
- William Byrd 谈“有史以来最美丽的程序” [PWL NYC] · PapersWeLove · 1:31:05
- “用确定性模拟测试分布式系统” by Will Wilson · Strange Loop Conference · 40:20
- 为什么函数式编程没有成为主流?—— Richard Feldman · Metosin · 46:09
- 也许不 - Rich Hickey · ClojureTV · 1:03:28
- 用 Clojure 的方式解决问题 - Rafal Dittwald · Clojure/north · 1:02:26
- 第一讲A:Lisp概述与简介 · MIT OpenCourseWare · 1:12:55
- 防止文明崩溃 / Jonathan Blow (Thekla, Inc) · DevGAMM · 1:02:41
- APL中的康威生命游戏 · Dyalog · 7:47