AWS re:Invent 2018: [REPEAT 1] 无服务器之旅:AWS Lambda 内部揭秘 (SRV409-R1)
AWS re:Invent 2018: [REPEAT 1] A Serverless Journey: AWS Lambda Under the Hood (SRV409-R1)
频道:Amazon Web Services · 时长:59:12 · 发布:2018-11-30 · 播放:71615
简介
AWS re:Invent 2018 的一场会议,Holly Mesrobian 和 Marc Brooker 解释了 AWS Lambda 是如何构建的,包括其沙盒、隔离和扩展架构。它涵盖了无服务器代码运行时底层发生的事情。
HN 为什么推荐
HN 引用它作为由构建它的工程师对 Lambda 内部和隔离的权威描述。
你可以观看这个演讲来了解更多 — HN, 2019
中文字幕节选
大家好,我叫Holly Mesrobian,是AWS Lambda的工程总监。 稍后,Marc Brooker会加入我,他是一位高级首席工程师, 也是无服务器领域的专家。Marc和我在亚马逊一起从事Lambda的工作。今天,我们计划 带大家了解Lambda架构的一些关键部分,以及我们一直在 研究的一些创新。到本次演讲结束时,你们将对 Lambda架构有一个概念性的理解,并了解当你们调用invoke时,代码 是如何在系统中流转的。首先, 简单介绍一下Lambda,这样你们就能了解我们所做的规模。在正式发布仅 三年后,AWS Lambda每月已经处理数万亿次 请求,服务于数十万活跃客户。Lambda 目前已在全部18个AWS区域可用,作为一项基础服务,我们在 AWS推出的每个新区域都会上线。我们有许多客户正在使用 Lambda构建高可用、可扩展且安全的服务,包括汤森路透, 其产品洞察分析平台每秒处理4,000次请求; FINRA每天执行5000亿次股票交易验证, 用于欺诈和异常检测;还有Zillow,它在Kinesis中使用Lambda 实时跟踪一部分移动指标。现在让我们来看看为什么 这么多客户采用Lambda,这是因为运行高可用、 大规模系统需要大量工作。首先,你需要确保 你的系统在架构的每一层都有负载均衡。这样做是为了 在架构中实现冗余,同时也是为了能够处理比 单个服务器所能提供的更多流量。当你计划构建一个新 服务时,你需要规划和配置这些位于主要架构组件之间的 负载均衡层。你还需要确保这些系统 配置了适当的路由规则,以便负载均匀分布。 其次,关于超过单个服务器所能提供的容量,你需要支持 扩展,这样如果你的流量超过当前服务层所能 处理的范围,你仍能继续服务这些流量,但你也需要能够在流量 高峰后缩减规模,以免无限期地过度配置, 这当然是浪费的。当你计划构建一个新服务时,你还需要 规划和配置这些自动扩展层,置于你的服务器集群之前, 评估集群的容量,并根据流量和服务器池的压力 进行扩展,然后在高峰流量减少时缩减。第三,继续 关于系统故障的问题,你需要考虑主机故障,但 数据中心或可用区完全故障呢?为此,你需要 基于关键服务指标为每个服务配置健康检查, 如果服务显示不健康,就停止向该主机路由流量。然后 你需要重复这一过程,确保为你构建的每一个系统和 服务组件都这样做。作为开发者,你现在花费大量工程 时间在系统管理上。Lambda为你处理所有这些甚至更多, 帮助开发者专注于业务逻辑和编写代码,而不是管理 系统。今天我们将展示Lambda如何透明地支持负载 均衡、自动扩展和处理故障,同时保持安全隔离和 利用率。让我们从Lambda架构开始。 Lambda架构分为控制平面和数据平面。 控制平面是工程师和开发者通常与 Lambda服务交互的地方,在这部分系统中,我们有一组开发者工具,
HN 上的讨论
以下是reInvent 2018的两个视频:Jaso谈论DynamoDB内部机制[LINK] Marc谈论Lambda内部机制[VIDEO] — appwiz, 2019-06
我相信AWS在设备内共享客户信息,但下面有很多沙箱。你可以观看这个演讲了解更多:[VIDEO] 我认为威胁模型基本上是,你需要一个KVM内核0-day + 利用它的能力,所以是一个特权点,比如在firecracker沙箱之外。 — staticassertion, 2019-01
AWS SDE在此。简短的回答是,为了让你的团队采用某样东西,你需要证明它对客户更好(包括迁移成本等)。如果现代的东西更高效、可用性更高、速度更快等等,那么就可以提出理由。基于你引用的一些具体例子:* 关于来自AWS的OSS或“现代”事物的例子,请查看Firecracker(用Rust编写):[LINK] * 关于“重新发明轮子”,Apollo + EC2解决了许多(不是全部)容器解决的问题,并且在容器成为热门之前就存在多年。* Docker,将容器带给大众,于2013年推出。* EC2于2006年推出(比Docker早7年)。* Apollo(以及构建系统Brazil)比EC2早很多年。* Amazon.com在2012年之前就迁移到EC2/AWS([LINK])* 另一个例子,Lambda,于2014年推出,运行在EC2上([VIDEO])。* 新服务可以在AWS中构建,并根据业务需… — discodave, 2019-03
相关视频
- AWS re:Invent 2018:Amazon DynamoDB 内部揭秘:我们如何构建超大规模数据库 (DAT321) · Amazon Web Services · 53:42
- Erlang和Elixir的灵魂 • Sasa Juric • GOTO 2019 · GOTO Conferences · 42:02
- “用确定性模拟测试分布式系统” by Will Wilson · Strange Loop Conference · 40:20
- Velocity NY 2013: Richard Cook, "复杂自适应系统中的韧性" · O'Reilly · 19:09
- 火线调试:系统失控时保持冷静 • Bryan Cantrill • GOTO 2017 · GOTO Conferences · 52:34
- AWS re:Invent 2018: Amazon DynamoDB 深入探讨:DynamoDB 高级设计模式 (DAT401) · Amazon Web Services · 59:56
- Erlang Factory 2014 - 那是带 'B' 的 'Billion':在 WhatsApp 扩展到下一个级别 · Erlang Solutions · 49:15
- Martin Kleppmann 的 "用 Apache Samza 将数据库翻转" · Strange Loop Conference · 47:42
- 系统的语言 - Rich Hickey · ClojureTV · 1:02:49
- Google I/O 2012 - Go 并发模式 · Google for Developers · 51:27
- Literate Devops with Emacs · Howard Abrams · 28:36
- 最终一致性的冲突解决 • Martin Kleppmann • GOTO 2016 · GOTO Conferences · 51:35
- “Unison:一种新的分布式编程语言” by Paul Chiusano · Strange Loop Conference · 41:05
- Paxos 讲座(Raft 用户研究) · Diego Ongaro · 1:06:33
- Hewitt、Meijer 和 Szyperski:Actor 模型(你想知道的一切...) · jasonofthel33t · 42:34
- 从零开始构建容器 • Liz Rice • GOTO 2018 · GOTO Conferences · 42:53