AWS re:Invent 2018:驱动下一代 EC2 实例:深入 Nitro 系统(CMP303-R1)

AWS re:Invent 2018: Powering Next-Gen EC2 Instances: Deep Dive into the Nitro System (CMP303-R1)

频道:Amazon Web Services · 时长:1:05:06 · 发布:2018-11-29 · 播放:56873

在 YouTube 观看

简介

AWS re:Invent 2018 的一场会议,深入探讨 Nitro 系统,这是支撑下一代 EC2 实例的一套硬件卸载和安全构建模块。内容涵盖其设计与架构,以及 Nitro 如何支持新的实例类型。

HN 为什么推荐

被引用为关于 Nitro 如何将 I/O 卸载到专用硬件、并让管理任务不占用客户 CPU 的主要来源。

有了 Nitro 虚拟机管理程序,没有任何管理任务会与客户工作负载共享 CPU。 — HN, 2019

操作系统与内核 · 云、DevOps 与可靠性

中文字幕节选

我们开始吧,好,让我们开始 我叫Anthony Liguori,是EC2的高级首席工程师, 在过去一年里领导了Nitro系统的开发。我还领导了 Firecracker背后的工程工作,我们本周早些时候刚刚宣布了它, 以及最近我们刚刚在今天推出的AWS Outposts。所以这真是激动人心的一周,我 非常兴奋能与大家分享我们正在做的所有激动人心的事情, 我真的很感谢你们来参加晚上7点的 会议,在这个活动接近尾声的时候。我知道我挡在了大家和啤酒 与食物之间,所以感谢你们抽出时间来听我要 说的。我们将从Nitro是什么的概述开始, 为什么它重要以及它如何工作。去年我做了另一个关于Nitro的演讲,我们 只是触及了表面。今年我想真正深入一个特定的 组件,那就是Nitro安全芯片。所以我们会大量讨论为什么它 存在,它做什么以及我们用它来做什么。然后我想介绍一些我们 最近的发布,并讨论Nitro如何支持了这些发布,以及你们知道 它如何通过我们最近的一些实例类型非常具体地为您提供好处, 最后我会以接下来会发生什么来结束。那么Nitro团队 正在做什么,我们在未来展望什么。Nitro 项目真正开始于我们对自己的一个问题,那个问题是,在 开发EC2近10年之后,如果我们能吸取所有的经验教训, 并审视我们用来托管EC2实例的物理硬件平台, 我们有非常非常大量的这些服务器,我们 质疑系统中的每一个组件,并说这是正确的组件吗 针对我们试图在这里满足的特定目的,即服务EC2 实例,然后从软件角度审视系统中的每一块软件, 并说我们真的需要在每台服务器上都有systemd吗?答案 是不需要。我们真的需要ASUS H和交互式登录吗?答案是不需要。我们 仔细检查,真正试图理解既然这些服务器只用于 运行EC2,我们如何才能真正优化它们。这最终导致了 Nitro,这是一个我们在去年11月随c5实例类型推出的平台, 然后我们真正开始在去年的re:Invent上谈论它, 所以基于此它大约只有一岁。虽然这真的是我们第一次 开始谈论Nitro,但Nitro作为一个系统,其开发 至少从2013年开始,当时我们推出了带有增强网络的c3实例类型, 那是我们第一次使用Nitro硬件。自从我们去年推出Nitro以来, 我们此后推出的每一个实例类型都是基于 Nitro系统的。所以很可能如果你在使用c5、M5、r5、t3,任何基于AMD的 实例类型,如果你像我一样非常兴奋并在a1实例一公开 就启动了它,那都是基于Nitro实例,即Nitro 系统。所以当我们思考Nitro系统以及我们 称之为系统的原因时,它实际上由三个独立部分组成。第一 部分是Nitro卡本身,这是系统中的I/O加速器, 今年我想谈论的一件事是,这实际上不仅仅 是一张卡,而实际上是一个卡系列,每张卡服务于不同的 目的,我们将在接下来的几 张幻灯片中更多地讨论这些卡。安全是我们在AWS最重要的事情,

HN 上的讨论

嗨!我来自EC2工程团队。对于通用虚拟化栈来说,这是一个极具挑战性的问题。EC2一直在努力避免任何客户VM中断。使用Nitro hypervisor,没有任何管理任务与客户工作负载共享CPU。更多信息请参见此处,包括来自一个在Nitro hypervisor下的EC2上运行实时需求的真实客户的数据:[VIDEO] — _msw_, 2019-01
更长的历史会从IBM大型机开始。最近,IBM Ultravisor在OpenPower固件中发布,调解KVM VM,[LINK]和[LINK] 2018年Ian Pratt的视频涵盖了Xen、uXen和AX(2005-2015),[LINK]。Citrix收购了XenSource。Pratt离开去了Bromium,被HP收购(HP之前从Bromium联合创始人那里收购了BIOS公司)。XenSource的前CTO共同创立了Qumranet(KVM),被RedHat收购。AWS从Xen开始,然后迁移到KVM的一个子集。Nitro使用Arm硬件来虚拟化I/O(存储、网络)路径,让KVM负责x86 CPU和内存虚拟化,[VIDEO]和[LINK]。可以类比Apple T2 enclave(Arm)协处理器在x86 Apple Macbook上用于磁盘加密。在“机密计算”的框架下,Intel有T… — transpute, 2025-06
DPU/SmartNIC是行业对AWS Nitro(基于Annapurna收购)的部分回应,Nitro执行I/O(网络/存储)虚拟化。Nvidia DPU基于Mellanox收购,AMD DPU基于Pensado收购,Intel有内部DPU。2018年有一个关于AWS Nitro的演讲,[VIDEO] Cadence摘要:[LINK] James Hamilton摘要:[LINK] Annapurna-Nitro的创始人现在在[LINK],该公司创建了NVMEoF(NVME over Fabric,即以太网或光纤通道)标准。这是通过软件驱动程序或硬件加速器实现的。DPU和NVMEoF都可以被视为试图标准化AWS Nitro开创的“可组合数据中心”架构。> 但这是HN...我们还能通过这个做什么其他用途/这个物理架构给我们带来了什么优势?一个好的起点是剑桥大学十年前的NetFPGA Sma… — walterbell, 2022-05
嗨,Jeff!哎呀!我非常想了解更多关于Nitro加速的信息。所有这些加速架构都非常有趣。* Nitro加速器对主机来说是什么样子?Nitro加速器是作为NVMe设备呈现给操作系统主机,还是有更定制化的东西?Nitro加速器是使用SR-IOV还是其他方式来呈现为多个不同的PCIe适配器、每个驱动器一个PCIe、单个PCIe设备,还是根本没有PCIe设备,或者完全是其他东西(如果是,是什么)?是否有定制的virt-io驱动程序为VM提供动力?在最新的迭代中,这些接口发生了多少变化,还是这些接口通道保持稳定?* 线上通信是什么?与上述相关;最终VM看到的是NVMe,那么这在栈中向下和跨网络走了多远?线上是基于NVMe还是其他东西;是定制的吗?有哪些权衡,哪些协议启发了团队?最初发布时似乎有一个定制的远程协议[1];这个协议保持了吗?是什么驱动了协议随时间的演变/变化?有什么新的和改变了的?*… — rektide, 2021-11
来自eclypsium的完整帖子[LINK]。另外,我假设AWS裸金属服务器由于Nitro安全卡([VIDEO])而不受影响。 — richardowright, 2019-02

相关视频