Erlang Factory 2014 - 那是带 'B' 的 'Billion':在 WhatsApp 扩展到下一个级别

Erlang Factory 2014 - That's 'Billion' with a 'B': Scaling to the Next Level at WhatsApp

频道:Erlang Solutions · 时长:49:15 · 发布:2014-03-08 · 播放:49777

在 YouTube 观看

简介

WhatsApp 的 Rick Reed 在 Erlang Factory 2014 上解释了该服务如何以非常小的工程团队扩展到数十亿条消息。他涵盖了 FreeBSD 和 Erlang 技术栈、Mnesia 的使用、服务器数量和瓶颈工作。

HN 为什么推荐

展示 Erlang 如何让一个小团队运行一个庞大的消息系统的首选演讲。

观看这个演讲,想象一下仅用少数服务器工程师尝试重建那个系统 — HN, 2017

函数式编程 · 软件性能与优化 · 分布式系统

中文字幕节选

谢谢,呃,正如你所说,我是Rick Reed,来自一家你可能从未 听说过的小创业公司,呃,我想先为标题道歉,当我提交这个 演讲时是在十二月,我没有预料到它在 三月会有不同的含义,呃,我从2011年起就在WhatsApp工作,呃,我在WhatsApp学习了Erlang, 我的重点主要是可扩展性和多媒体系统,呃,我很荣幸能与 这个出色的团队合作,但我们规模很小,只有大约10个人左右, 使用Erlang,我们负责所有的开发和运维,呃,现在 在我深入讨论为什么你需要调整、改变和修补所有这些东西, 以及诸如此类的东西,才能让WhatsApp这种规模的东西在Erlang上运行之前,我想 首先说,这对WhatsApp来说是一个极好的选择,呃,主要 是因为在多个方向上的可扩展性,呃,维度,呃,就 编程生产力而言,我认为很难 找到一种更好的语言,能够用如此少的工程师支持如此多的用户, 比Erlang更好,呃,其次,就你可以构建的系统的规模而言, 使用它以及自然产生的编程模型和所有 支持Erlang的基础设施,最后,呃,就SMP可扩展性而言, 它允许我们运行非常大的机器,呃,并保持我们的节点数量少,我们的 运营复杂性随着节点数量而不是核心数量 而扩展,所以出色的SMP可扩展性真的给了我们优势,呃,另一个伟大的 关于Erlang的事情是我们基本上能够动态更新这个东西,呃, 字面意义上的动态,所以我们总是从我们在驾驶一架 永远不能降落的飞机的角度思考,但我们不断需要重建它,让它更大,呃,我们 我们不断添加座位,变得太重,我们需要更换引擎,我们需要 更多燃料,我们得更换机翼,我们在它还在 飞行的时候做所有这些,现在问题是Erlang是我们的秘密武器吗,你可以 争论它是,但我认为我们的一个创新才是真正讲述故事的东西, 我们称之为创始人指导开发,呃,Yan和Brian亲自 监督每一行代码的编写,呃,这真的给了我们一个 优势,就质量和我们能生产的东西而言,所以一些快速 数字,呃,如果你关注过一些故事,你可能在新闻中见过大部分,呃, 我们有大约4亿,接近5亿月活跃 用户,呃,每天190亿条消息进,400亿条出,呃,你可以看到 图片、语音消息和视频的细分,呃,在峰值时我们有大约 近1.5亿部手机同时连接到系统,呃,在峰值时,呃, 手机以大约每秒23万的速度连接和断开,最后我们的 峰值消息率,你可以看到进来大约接近35万,出去 超过70万,呃,就多媒体而言,假期成为我们最大的 吞吐时间,所以在圣诞前夕,我们在峰值时推送出大约146吉比特 每秒,当你考虑到我们不是向家庭流式传输高清,这些是 发送到手机的小视频文件,这是相当多的带宽,呃,所以我们在圣诞前夕 发出了3.6亿个视频,呃,大约20亿张照片在 新年前夕被下载,峰值速率为每秒4.6万,我们有一张图片在 新年前夕极其病毒式传播,呃,被转发了3200万次,所以

HN 上的讨论

我最喜欢的演讲之一是 Rick Reed 关于在 WhatsApp 扩展 Erlang 的演讲。真是个绝对的狠人。他以清晰而深入的课程快速讲解了系统性能和瓶颈缓解。演讲名为“That's 'Billion' with a 'B'”,非常适合午餐时观看:[VIDEO] — kornish, 2020-09
不确定为什么这个评论之前被踩了几次。mbesto 是对的:对大多数初创公司来说,大多数时候,竞争优势并不来自底层技术栈。一般来说,大多数事情可以在几个平台中的任何一个上类似地完成。然而,当产品需求与专门技术异常匹配时,你会看到使用不同技术栈根本不可行或极其困难的事情。WhatsApp + Erlang 就是其中之一(观看这个演讲,想象一下仅用少数服务器工程师使用任何其他技术重建那个系统:[VIDEO])。Discord + Elixir 似乎是另一个。好奇是否有人能想到高并发消息领域之外的任何例子。 — kornish, 2017-07
我另一个最喜欢的“可扩展性”研究来自WhatsApp:[VIDEO] 那是带“B”的“十亿”:在WhatsApp扩展到下一个级别(这个演讲标题是在收购之前创建的,意在暗示消息数量,收购后它有了第二层含义)。关于它,最令人着迷的一点是,与操作的规模和复杂性相比,他们的团队是多么小。 — rdtsc, 2014-07
WhatsApp。Rick Reed 的“That’s Billion with a B”演讲很好地展现了他们自己对这一点的看法 [VIDEO] — dpeck, 2022-08
这是 Rick Reed 在 Erlang Factory 上对他们技术栈的描述以及 Erlang 如何帮助他们的:[VIDEO] 这是 Jamshid Mahdavi 也谈论他们的技术栈,但侧重于开发、测试和发布代码。如果你曾在一个拥有大型 QA 团队和多阶段部署管道的公司工作过,他们做的一些事情会让你惊讶。[LINK] — rdtsc, 2017-09

相关视频