AWS re:Invent 2016:使用AWS Snowmobile移动EB级数据集
AWS re:Invent 2016: Move Exabyte-Scale Data Sets with AWS Snowmobile
频道:Amazon Web Services · 时长:3:39 · 发布:2016-12-01 · 播放:237877
简介
AWS为Snowmobile做的简短宣传,这是一个由半挂卡车牵引的45英尺集装箱,可将最多100PB的数据移动到AWS。
HN 为什么推荐
HN引用它作为当网络传输不切实际时物理运输数据的例子。
每个Snowmobile可传输最多100PB,它是一个45英尺长的坚固尺寸集装箱,由半挂卡车牵引。 — HN, 2019
中文字幕节选
很多客户说,如果我有数百PB或 几十PB的数据,这很棒,但如果我有EB级的数据呢?我们有很多 客户拥有EB级的数据。当我们开始AWS时,1EB数据的概念 似乎完全遥不可及,1EB的数据实在太大了。如今, EB级数据已经更加常见,你会惊讶于有多少公司,大型 企业和成功的初创公司,鉴于他们收集数据的方式,拥有EB级的 数据。他们说,我喜欢Snowball Edge,但如果我有1EB的数据,我 需要大约10,000个Snowball Edge,这对我们来说可能太多了, 难以管理。所以,你们能不能做点什么,让我们能够移动EB级的 数据,这样我们也能利用云?我们考虑了一下,这很棘手, 首先想到的是,我们需要一个更大的盒子。 [掌声] [音乐] [掌声] [音乐] [掌声] [音乐] [掌声] [音乐] [音乐] 是的 [音乐] [掌声] 推出AWS Snowmobile。Snowmobile是一个100 PB的容器,它固定 在一个45英尺长的集装箱上,用卡车运输。它的工作方式是,我们把卡车开到 你的数据中心,我们把Snowmobile固定在 拖车上,我们有电力和网络光纤连接到你的数据中心,你 把它装满,然后卡车回来,把拖车放回卡车上, 我们把它运回AWS。如果你考虑移动1EB的 数据,从本地到任何地方,但尤其是到云,如果你 基本上分配一个10 Gbps的线路,这相当合理, 移动1EB的数据从本地到 云需要大约26年。使用10个Snowmobile,只需要不到六个月。这是 一个巨大的差异,这让你难以置信现在有多少公司 拥有EB级的数据,他们想迁移到云,因为他们想 利用我们拥有的存储服务,他们想利用 我们拥有的数据库服务,他们想利用我们拥有的大量 分析服务和AI服务,但移动EB级的 数据以前是完全不合理和不可能的。26年,不到6个月, 有了Snowmobile,客户会对此非常兴奋。 一个
HN 上的讨论
AWS有一整套这样的产品,他们的“Snow”产品线。[1] 有“Snowcone”、“Snowball”,以及用于真正大规模传输的“Snowmobile”。[2] [1] [LINK] [2] [VIDEO] — Animats, 2024-04
这些巨型公司的规模简直疯狂!我很好奇你们到底打算怎么迁移那么多数据。我知道亚马逊有个叫Snowmobile的服务就是干这个的。他们在这里可能也用了类似的方法。“每个Snowmobile最多可传输100PB,它是一个45英尺长的坚固运输集装箱,由半挂卡车牵引。”[VIDEO] — pizza, 2019-01
[VIDEO] “永远不要低估一辆满载磁带、以70英里时速在高速公路上飞驰的旅行车的带宽。” — sillysaurus3, 2017-09
相关视频
- “用确定性模拟测试分布式系统” by Will Wilson · Strange Loop Conference · 40:20
- Rich Hickey 谈价值的价值 · InfoQ · 31:43
- Velocity NY 2013: Richard Cook, "复杂自适应系统中的韧性" · O'Reilly · 19:09
- 火线调试:系统失控时保持冷静 • Bryan Cantrill • GOTO 2017 · GOTO Conferences · 52:34
- AWS re:Invent 2018: Amazon DynamoDB 深入探讨:DynamoDB 高级设计模式 (DAT401) · Amazon Web Services · 59:56
- Martin Kleppmann 的 "用 Apache Samza 将数据库翻转" · Strange Loop Conference · 47:42
- Literate Devops with Emacs · Howard Abrams · 28:36
- 最终一致性的冲突解决 • Martin Kleppmann • GOTO 2016 · GOTO Conferences · 51:35
- 01 - 课程介绍与关系模型(CMU 数据库系统 / 2019 年秋季) · CMU Database Group · 1:06:44
- NoSQL 简介 • Martin Fowler • GOTO 2012 · GOTO Conferences · 54:51
- 从零开始构建容器 • Liz Rice • GOTO 2018 · GOTO Conferences · 42:53
- Rich Hickey在1080p中吐槽HttpServletRequest:来自Clojure Made Simple的死于特异性 · Fred Overflow · 4:56
- TigerStyle!(或者如何在更短时间内设计更安全的系统) by Joran Dirk Greef · TigerBeetle · 1:01:59
- 超过20万台服务器在一个地方!参观德国法尔肯施泰因的Hetzner · der8auer EN · 20:29
- Joyent的Bryan Cantrill谈Manta:面向互联网的对象存储设施,集成了计算能力 · AI Council · 1:31:05
- Michael Stonebraker | 大数据(至少)是四个不同的问题 · Michigan Engineering · 55:53