Jon Moore 的“停止限流!正确的容量管理”

"Stop Rate Limiting! Capacity Management Done Right" by Jon Moore

频道:Strange Loop Conference · 时长:42:20 · 发布:2017-10-01 · 播放:41162

在 YouTube 观看

简介

Jon Moore 在 Strange Loop 2017 的演讲认为,限流不是保护服务免受嘈杂客户端影响的正确工具。他提出基于并发的容量管理和配额。

HN 为什么推荐

HN 工程师推荐它,因为其核心洞见是限制并发自然会带来请求速率限制,并且它与排队论有关。

基本前提是不做 req/s 限制,而是做并发限制,这本身就会导致 req/s 限制。 — HN, 2017

软件架构与设计 · 分布式系统 · 云、DevOps 与可靠性

中文字幕节选

好了,大家好,我们有40分钟,我内容太多,咖啡也喝得 太多,所以这会像一场朋克摇滚演唱会。你们准备好迎接40 分钟火爆的排队论了吗?我说,你们准备好迎接40分钟火爆的 排队论了吗?好的,我准备好了。那么假设你要采用 面向服务的架构,其中一些甚至可能是微服务,但一切都始于 一个应用或服务,对吧?你抽出一些功能,让它 准备好投入生产,设置好准备接收一些流量,果然 你开始为你的服务聚集一些流量,然后你开始 构建更多服务,它们自身也开始吸引更多流量,不知不觉 你就有了数百个服务和数千个客户端,你必须 以某种方式理清这一切,这通常就是你引入所谓的 API管理网关的地方。API管理网关实际上主要做两件事, 其中一件是身份验证和授权,对吧?我们要确保 调用服务的人确实被允许这样做,这不是 我今天要讲的内容,因为它们做的另一件事是 提供容量管理,对吧?我们要注意的一件事是 我们不想让一个客户端使用太多 服务的容量,把其他人都饿死,这有点像 分饼的方法,就像你知道的,这块给你, 剩下的饼我拿走,所以我们不希望这种情况发生。现在 许多API管理网关的方式,以及我们思考管理API访问的方式, 它们通常使用速率限制,好吧,所以这就是我要说的想法, 嘿,你被允许对我的服务每秒发起比如25个请求,所以我 希望今天能说服你,这不是最好的做法, 特别是有些地方这样做行不通,所以 第一个是当源服务已经过载的情况,好吧, 所以事实证明速率限制在那里效果不太好,然后第二个是 有时速率限制可能过于激进,所以有时我们最终会拒绝 本来可以处理的请求,好吧,所以这就是我们今天要讲的, 大家都准备好听排队论了吗?它不会看起来 像这样,所以别担心,这就是我们今天要做的所有排队论, 好吧,就是这个简单的方程 n 等于 X 乘以 R,这被称为利特尔法则, 和我一起工作的人都知道我是利特尔法则的忠实粉丝,事实上一些 和我共事的人创造了摩尔第二定律,说的是如果约翰·摩尔有 机会应用利特尔法则,他就会这么做,但这非常有用,我实际上 用纸笔和利特尔法则调试过性能问题,只是 问另一位工程师服务是如何工作的,所以这是很酷的东西,好吧, 让我们来看看这是什么,n 是平均并发请求数, 所以如果我们对服务拍个快照,这就是当前 正在被这个请求处理系统处理的请求数量,X 是 平均事务率,好吧,这是请求到达 系统的速率,然后 R 是平均响应时间,好吧,也就是 平均处理一个请求需要多长时间,重要的是要注意利特尔法则适用于 平均值,好吧,这是关于容量,不是关于性能,我们都知道我们 想看的不仅仅是平均延迟,当我们试图管理 性能时,但无论如何,把它放到一个希望大家 熟悉的背景中,有多少人坐过游乐园的游乐设施,要么有 像这样的,你见过这样的游乐设施,对吧?好的,很多人,好的,所以 所以用利特尔法则的术语来说,好吧,n 是游乐设施上的人数,好吧, 所以如果我对游乐设施拍个快照,实际上有多少人在游乐设施上,X

HN 上的讨论

你会喜欢 Strange Loop 2017 关于这个主题的演讲:Jon Moore 的“停止限流!正确的容量管理”[VIDEO] 并发容量可能不是最佳指标。 — Lanzaa, 2024-11
与排队论相关:“停止限流!正确进行容量管理”,作者Jon Moore [VIDEO] — oftenwrong, 2019-06
* 为人民服务:公共利益技术专家。Matt Mitchell是一位黑客、安全研究员、操作安全培训师和数据记者,他创立并领导了CryptoHarlem,即兴 workshops 向曼哈顿上城 predominantly 非裔美国人社区教授基本密码学工具。[LINK] * 停止限流!容量管理做对了。Jon Moore是Comcast Cable的首席软件架构师,他专注于为公司各种软件产品开发组提供一组核心的可扩展、高性能、健壮的软件组件。[VIDEO] * 在真实系统中保持时间。这个演讲将参观真实系统中使用的迷人的计时机制。我们将通过使用它们的系统探索原子钟、NTP和GPS,以及在基于逻辑时间的系统背景下的逻辑时钟。[LINK] * 用Rust提升你的并发技能。这个演讲将向你展示Rust如何在编译时捕获许多并发错误。[LINK] * 暗黑破坏神:经典游戏事后剖析。暗黑破坏神开发者David … — cpeterso, 2018-01
对于这个话题的不同观点,请观看“停止限流!正确进行容量管理”[VIDEO]。基本前提不是做req/s限制,而是并发限制,这本身就会导致req/s限制。并发限制相当简单,不需要大量的代码复杂性。 — luckystarr, 2017-12

相关视频