AWS re:Invent 2018:Amazon DynamoDB 内部揭秘:我们如何构建超大规模数据库 (DAT321)
AWS re:Invent 2018: Amazon DynamoDB Under the Hood: How We Built a Hyper-Scale Database (DAT321)
频道:Amazon Web Services · 时长:53:42 · 发布:2018-11-27 · 播放:112232
简介
AWS re:Invent 2018会议,讲述DynamoDB如何作为超大规模NoSQL数据库构建。它披露了该服务的基础架构以及如何为超过10万客户运行。
HN 为什么推荐
HN指出它是对DynamoDB内部机制的权威解读,并证明它是一个复杂的分布式系统。
这里有一个你可能感兴趣的演讲,来自一位长期构建和运行DDB的人 — HN, 2022
数据库与存储 · 分布式系统 · 云、DevOps 与可靠性
中文字幕节选
下午好,或者晚上好,我不太确定,我想太阳应该已经落山了,我不 知道,这是过渡时段之一。我叫Josue Sorensen,严格来说 那不是我的名字,我的名字是James Christopher Sorensen the third,gesso是我的 Amazon名字,所以如果你想给我发邮件,请发到gesso@amazon.com 我是Amazon的高级首席工程师,我在AWS工作了大约14年, 是S3的原始开发者之一,很久以前我发布了我们的IoT产品, 过去几年我一直在研究DynamoDB,今天我想 做的是谈谈底层,Dynamo是如何工作的,我 计划采用的方式是我们如何让工程师加入Dynamo团队, 所以工程师加入Dynamo时首先要做的是与 API交互,他们扮演你们作为客户的角色,你知道, 他们可能没有使用过Dynamo,尤其是我们从 大学招聘的那些人,我们让他们做诸如创建表、创建索引、设置流等事情,很多 DynamoDB的面向公众的API,一旦他们完成这些, 我们就进入这次演讲的内容,或者说是入职培训,那么这次演讲的目标 是什么?希望你们能了解Dynamo的一些功能 以及它们如何工作,但我认为真正的目标,或者说我希望你们从中 学到的是理解这个工具如何工作,并能更好地为你们服务。我认为一个 类比在这里很合适,你知道,如果Dynamo是一个工具,我想到的 类比是一辆车,对吧,车是你用来上班的工具,如果 如果你开始开车,你对车一无所知,你正在 路上行驶,引擎在响,声音很大,你 随着车流前进,如果你对车一无所知,你会想嘿,一切都 很好,对吧,但现实是你可能把它挂到了一档, 你正在行驶,那辆车总共可能只能跑5000英里 因为你会把它磨损,现在你不会磨损DynamoDB,但 显然,按照预期的方式使用工具可以给你带来更好的 结果,所以理解Dynamo内部如何工作,我认为会让你 更有效地使用Dynamo,所以我们要做的是大致 走过Dynamo的这五个不同功能,我们将从真正 最简单的开始,一直到全局表,所以我们会讨论 如何获取一个项目和放入一个项目,讨论自动扩展和预置,如何 备份和恢复在Dynamo中工作,我们还会稍微谈谈流,最后 以全局表结束。所以当你从Dynamo获取一个项目时,你发起一个调用, 通过网络过来,Dynamo不关心你是来自 公共互联网,还是来自EC2网络,或者是VPC,即虚拟 私有云,我们不关心你如何到达DynamoDB,但当你到达时,你落在 一个我们称为请求路由器的进程上,这是Dynamo的面向公众的API, 请求路由器做的第一件事是验证 请求,确保调用者是他们所说的身份,这个 认证系统在所有AWS组件中是通用的,我们使用相同的 子系统来做这个。请求路由器还会做的另一件事是确保 你有权做你正在做或要求做的事情,所以在这种情况下, 你试图获取一个项目,这里会有一些策略,我只是
HN 上的讨论
我们还没有关于 DynamoDB 内部机制的论文(也许将来会有?),但这里有一个演讲,你可能会感兴趣,来自一位长期构建和运行 DDB 的人:[VIDEO] 还有 Doug Terry 详细讲解 DynamoDB 事务协议的工作原理:[LINK] 如果我们确实发布了更多关于 DDB 内部机制的内容,你想了解什么?架构?运维经验?开发者体验?我们可以分享很多材料,听听大家希望我们关注哪里是很有用的。 — mjb, 2022-01
这里有几个来自 reInvent 2018 的视频:Jaso 讲 DynamoDB 内部机制 [VIDEO] Marc 讲 Lambda 内部机制 [LINK] — appwiz, 2019-06
说DynamoDB是建立在InnoDB之上,是对一个更复杂的分布式系统的极大过度简化[1],据我们所知,他们可能已经将后端的低级存储引擎换成了RocksDB或WiredTiger之类的东西。Aurora存储子系统在水平可扩展性和性能方面要有限得多,他们可能选择它是因为它更合适/更快捷。1. [VIDEO] — talawahtech, 2019-01
DynamoDB与他们发表的论文不同,论文主要关于设计一个高度可用的键/值系统,可以运行在任何其他数据存储之上。论文确实提到MySQL作为存储选项。最近的MySQL信息来自2016年关于DynamoDB存储空字符串的帖子:[LINK] 具体由这条评论确认:[LINK] 2018年ReInvent关于DynamoDB的最新深度探讨没有透露任何信息,但如果MySQL驱动存储节点仍然符合:[VIDEO] — manigandham, 2018-12
相关视频
- AWS re:Invent 2018: [REPEAT 1] 无服务器之旅:AWS Lambda 内部揭秘 (SRV409-R1) · Amazon Web Services · 59:12
- Erlang和Elixir的灵魂 • Sasa Juric • GOTO 2019 · GOTO Conferences · 42:02
- “用确定性模拟测试分布式系统” by Will Wilson · Strange Loop Conference · 40:20
- Rich Hickey 谈价值的价值 · InfoQ · 31:43
- Velocity NY 2013: Richard Cook, "复杂自适应系统中的韧性" · O'Reilly · 19:09
- 火线调试:系统失控时保持冷静 • Bryan Cantrill • GOTO 2017 · GOTO Conferences · 52:34
- AWS re:Invent 2018: Amazon DynamoDB 深入探讨:DynamoDB 高级设计模式 (DAT401) · Amazon Web Services · 59:56
- Erlang Factory 2014 - 那是带 'B' 的 'Billion':在 WhatsApp 扩展到下一个级别 · Erlang Solutions · 49:15
- Martin Kleppmann 的 "用 Apache Samza 将数据库翻转" · Strange Loop Conference · 47:42
- 系统的语言 - Rich Hickey · ClojureTV · 1:02:49
- Google I/O 2012 - Go 并发模式 · Google for Developers · 51:27
- Literate Devops with Emacs · Howard Abrams · 28:36
- 最终一致性的冲突解决 • Martin Kleppmann • GOTO 2016 · GOTO Conferences · 51:35
- “Unison:一种新的分布式编程语言” by Paul Chiusano · Strange Loop Conference · 41:05
- 01 - 课程介绍与关系模型(CMU 数据库系统 / 2019 年秋季) · CMU Database Group · 1:06:44
- Paxos 讲座(Raft 用户研究) · Diego Ongaro · 1:06:33