AWS re:Invent 2015 | (NET403) 又一天,又十亿个数据包
AWS re:Invent 2015 | (NET403) Another Day, Another Billion Packets
频道:Amazon Web Services · 时长:42:25 · 发布:2015-10-10 · 播放:54824
简介
Eric Brandwine 在 AWS re:Invent 2015 的演讲,讲解 Amazon VPC 网络的工作原理。涵盖该设计解决的问题、传统方法为何无法扩展,以及用于客户隔离和 VPC 端点的机制。
HN 为什么推荐
被认为是深入了解 AWS 如何在 L3 层实现虚拟网络以及为何 VPC 主机无法互相窥探的绝佳演讲。
这是非常出色的 Eric Brandwine 解释 AWS 在 L3 层对 VPC 做了什么 — HN, 2019
中文字幕节选
我叫Eric,现在在AWS安全团队工作,但8年前我加入亚马逊时, 是在定义并推出VPC的团队,这就是我们今天要讨论的内容。 翻页器能用。这次演讲是两年前我在re:Invent上所做演讲的翻版, 我想先管理一下预期:很多内容是相同的,也有一些新东西, 但如果你期待的是完全全新的演讲,我宁愿你现在就生气离开, 而不是在演讲结束时才生气。 我们试图用VPC解决的问题很简单: 我们是AWS,我们有云,云里充满了各种AWS优质服务, 比如EC2、弹性负载均衡、弹性块存储、我们的关系型 数据库服务、Amazon Redshift列式数据存储,以及 ElastiCache。客户有数据中心,这些是他们拥有多年的数据中心, 是昂贵的资本投资,不会立即消失。 所以作为优秀的工程师,我们走到白板前画一个箭头,这就是 我们想做的:把客户数据中心接入云。这将 是一个非常重要的部署场景。我们有客户,你听说过 Netflix这样的故事,他们完全投入云, 正在关闭最后一个数据中心。但对于每一个Netflix,每一个 结束这段旅程的客户,都有另一个客户开始这段旅程。所以作为 服务提供商,我们总会有客户在现有基础设施和 云中新基础设施之间运行混合 操作。期望人们进行大爆炸式迁移是不现实也不明智的。 应用会逐步迁移,数据会逐步迁移。所以 为了赢得这项业务,为了做好云,我们 必须长期支持这一点。所以在第一届re:Invent上,我们有一个演讲 题为“喝自己的香槟”,由Laura Gritt主讲,YouTube上有,我强烈 推荐。它讲的是亚马逊自己迁移到AWS的故事。我们和你们许多人一样是一家 企业,我们有数据中心,它们是为满足我们的需求而建的, 建造时没有考虑未来迁移到云,我们 面临一些挑战。VPC对这种采用至关重要,它是我们使用的 主要构建块之一。这是我们在许多其他 客户身上看到的故事。所以一开始我们有EC2,当你启动一个实例时, 我们会给那个实例分配一个IP地址,它实际上是一个32位随机数, 在云中是唯一的,你可以获得DNS名称,可以将 流量路由到它。当你启动另一个实例时,你会得到另一个IP地址, 又是另一个32位随机数。同时还有其他租户, 云是多租户的,有其他客户在云中启动实例, 我们也会给他们分配32位随机数。这样继续下去, 一切都很棒。现在我们来到一个客户数据中心,假设 20年前、10年前,无论这个数据中心何时建造,某个网络工程师 选择了192.168.0.0/16作为数据中心的IP范围,完全合理 的选择。那里有一个路由器,这是一个路由器,像金属板一样, 来自主要路由器供应商,上面有一些嵌入式固件, 一些TCAM,里面有一个路由表,写着192.168在这里。所以如果 我们要把它接入云,接入我们当时的EC2 网络,那么你要启动一个实例,我们需要 路由到那个实例,所以我们必须把它添加到你的路由表中。但
HN 上的讨论
这里有一向出色的Eric Brandwine解释AWS在VPC的L3层面做了什么:[VIDEO] 这里有多才多艺的Colm Mac解释AWS在L4层面做了什么:[LINK] --- 谷歌对他们的网络基础设施非常开放,这里有一份2015年的不错的总结:[LINK] 以及那篇博客中未提到的...他们的NetworkLoadBalancer,Maglev:[LINK](AWS的等效物是HyperPlane:[LINK] 据称基于S3的负载均衡器)。 — ignoramous, 2019-03
你无法窥探同一VPC中主机之间的流量。这里有一个很好的视频解释了原因[VIDEO]。简而言之,你的客户操作系统(EC2实例)没有连接到物理第2层网络。主机操作系统管理程序连接了,当它从物理NIC接收到数据包时,如果该数据包不是指向客户操作系统的,那么它就不会被传递给它。因此,客户操作系统(你的EC2实例)上的NIC甚至永远不会看到不是发给它的数据包。当然,这变得稍微复杂一些,因为AWS添加了一些流量镜像工具。所以理论上,有正确访问权限的人可以设置一个镜像到他们控制的VPC中的主机,并以这种方式嗅探流量。但如果有人能够做到这一点,那么你很可能无论如何都完蛋了。 — thinkharderdev, 2020-05
[LINK] 上有很多内容,YouTube上也有演讲([VIDEO] 是我的最爱)。但长话短说:VPC代表“虚拟私有云”,它为你提供了在AWS上的自己的虚拟数据中心。你获得一个使用任何你想要的IP范围的私有网络,你可以通过VPN或Direct Connect(物理链接)私下连接到它。你还可以使用弹性IP地址将其连接到互联网。VPC是免费的,你可以以编程方式创建和编辑它们(添加子网、更改路由、管理ACL和安全组)——因此,它们是管理EC2实例、容器、弹性负载均衡器、RDS数据库、Lambda函数等环境的有用方式,而无需过多担心它们暴露在你无法控制的事物中。有了这个最新的PrivateLink功能,现在可以在VPC之间提供服务。因此,你可以在自己的VPC中构建服务,并安全地映射到其他VPC。 — colmmacc, 2017-11
相关视频
- AWS re:Invent 2016:周二晚间直播 with James Hamilton · Amazon Web Services · 1:33:27
- Tracy Young 在 2015 年女性创始人大会上的演讲 · Y Combinator · 26:51
- AWS re:Invent 2018:AWS 如何最小化故障影响范围 (ARC338) · Amazon Web Services · 55:43
- Zebras All the Way Down - Bryan Cantrill, Uptime 2017 · Code & Supply · 46:36
- 杰夫·贝索斯 1997 年访谈 · Chuck Severance · 5:39
- 模拟流行病 · 3Blue1Brown · 23:12
- Paxos 讲座(Raft 用户研究) · Diego Ongaro · 1:06:33
- Bret Victor - 在原则中发明 · Rui Oliveira · 54:20
- 编程语言高级主题:无锁哈希表 · GoogleTalksArchive · 58:35
- DNA 动画 (2002-2014) 由 Drew Berry 和 Etsuko Uno 制作 wehi.tv #ScienceArt · WEHImovies · 7:19
- 嘿 Underscore,你做错了! · InfoQ · 36:30
- 主题演讲 - JSON Graph:Netflix 的反应式 REST · Association for Computing Machinery (ACM) · 54:57
- 软件设计哲学 | John Ousterhout | Talks at Google · Talks at Google · 1:01:40
- 用 Linux 替换充满漏洞的固件 - Ronald Minnich, Google · The Linux Foundation · 38:02
- Velocity NY 2013: Richard Cook, "复杂自适应系统中的韧性" · O'Reilly · 19:09
- 火线调试:系统失控时保持冷静 • Bryan Cantrill • GOTO 2017 · GOTO Conferences · 52:34