AWS re:Invent 2018: Amazon DynamoDB 深入探讨:DynamoDB 高级设计模式 (DAT401)

AWS re:Invent 2018: Amazon DynamoDB Deep Dive: Advanced Design Patterns for DynamoDB (DAT401)

频道:Amazon Web Services · 时长:59:56 · 发布:2018-11-28 · 播放:468902

在 YouTube 观看

简介

Rick Houlihan在AWS re:Invent 2018上对DynamoDB高级设计模式的深入探讨。涵盖了索引重载、GSI分片、复合键、图处理和事务。

HN 为什么推荐

学习DynamoDB数据建模的首选推荐,许多人说它让访问模式驱动的设计变得清晰。

我强烈推荐每个工程师都观看:这是SQL与NoSQL的绝佳概述 — HN, 2022

数据库与存储 · 云、DevOps 与可靠性

中文字幕节选

我叫 Rick Houlihan,是 AWS 的 NoSQL 首席技术专家,这意味着 我做了大量 DynamoDB 的工作,虽然我跨技术栈工作,也做很多 MongoDB 和 Cassandra 的工作。今天我要讲的大多数设计模式 实际上适用于所有 NoSQL 数据库,它们将以 宽列键值存储的形式呈现,这正是 DynamoDB 的本质。如果有人 有兴趣了解如何将这些设计模式应用到 MongoDB,请在会议结束后 找我,我会向你展示如何在文档存储中实现这些。 我有很多想法,我希望人们记住的一个重要信息是 各种技术平台之间其实没有太大区别, 设计模式基本上普遍适用。所以今天我们要讨论的是 我总是喜欢先简要谈谈数据处理的历史,以设定 基调,说明为什么我们要研究 NoSQL,这非常 重要,因为我们已经拥有这项伟大的技术很多 十年了,关系数据库似乎能做一切,那为什么我要花 时间学习这项新技术,它看起来与我已知的 如此不同。我们会稍微讨论一下,然后进入 DynamoDB 的概述。我不会花太多时间,因为这是 300 级会议,所以 会非常简要地概述我们称为 NoSQL 的服务 DynamoDB,然后我们会真正进入今天讨论的核心, 关于 NoSQL 数据建模,我们会讨论规范化与非规范化 模式,那到底意味着什么,以及我们如何构建数据结构到 NoSQL 数据库如 DynamoDB 中,然后我会介绍一些常见的设计模式。 历史上,或者说过去几年,我主要关注基本的 用例设计模式,这次我们会深入关系 建模。我将主要关注复合键结构,我们会讨论 如何转换层次数据模型,如何将关系数据 模型转换为 NoSQL,所以这真的会代表很多 我的团队所做的工作,即与全球战略客户 以及我们内部的 Amazon 零售团队合作,从关系数据库 应用服务迁移到 NoSQL 数据库,最后我们会快速 讨论一下服务,并谈谈建模真实应用, 我会给你一个真实的 Amazon 服务示例,这是我们做的 非常复杂且访问模式很长的服务。所以再次,我首先想谈 的是数据处理的历史,我喜欢这句话,不知道是谁说的, 但你知道,倾听并观察过去发生的事情,这样我们就不会重复 过去的错误,这就是这个信息的大部分内容。所以如果你 看看数据库技术的时间线,真的很棒,它归结为一系列 我称之为峰谷的东西,即数据压力,数据压力是 系统处理我要求它处理的数据量的能力,在 合理的成本或合理的时间内。当其中一个维度被打破时, 那就是技术触发点,我们发明东西,多年来我们做了很多 发明。所以我们的第一个数据库非常好,我们生来 就拥有它,就在你的耳朵之间,高可用,当我睁开眼睛时 它就在线,但持久性可能有问题,容错性 几乎为零,它是单用户系统,所以很快我们发现我们实际上 需要做得更好,于是我们开始把事情写下来,我们 开发了分类账会计系统,这是我们第一个结构化数据存储, 它运行了公共和私营部门应用几千年,

HN 上的讨论

这是我在使用dynamodb时推荐给其他人的视频。视频是Rick Houlihan关于dynamodb建模的。根据我的经验,大多数抱怨dynamodb的开发者并没有完全理解它。[VIDEO] — sass_muffin, 2022-08
Rick Houlihan几年前做了一个关于使用dynamodb为应用程序设计数据层的演讲。我向人们展示时得到的最常见反应——其中大多数是使用Dynamodb的Amazon SDE——是“天哪,这是什么魔法?!”[VIDEO] 人们对dynamo最大的误解之一是认为它只是一个没有关系的关系数据库。它不是。它是一个不可思议的系统,但要获得全部好处需要大量的深入知识,并且通常需要你预先很好地设计数据层。实际上,我不推荐将其用于设计尚未基本稳定的系统。但当使用得当时,它是一个性能惊人的数据存储巨兽。 — mabbo, 2022-07
为了明确和可搜索性,评论一下这个演讲的标题,它确实非常出色,不限于DynamoDB,并且在多年次优地使用DynamoDB之后,它算是一种启示:Rick Houlihan - AWS re:Invent 2018: Amazon DynamoDB深入探讨:DynamoDB的高级设计模式(DAT401),[VIDEO] 应该与阅读相关文档一起观看:[LINK] — ronjouch, 2022-07
我们迁移出AWS之后才意识到Dynamo有多棒。在我们发布News API的MVP时,Dynamo是一个关键因素[0]。我们使用了Dynamo、ElasticSearch、Lambda,并且能够在全职工作的情况下在60天内让它运行起来。此外,我看过的最好的技术演讲是Rick Houlihan在re:Invent上做的[1],我强烈推荐每个工程师都去看:这是对SQL与NoSQL的绝佳概述[0] [LINK] [1] [VIDEO] — artembugara, 2022-01
我在新项目里见过这种做法,效果非常好。如果你的数据访问模式是真正关系型的(查询路径多样),那它可能不是合适的工具,但很多应用都可以用 DDB 擅长处理的方式来建模。强烈推荐观看:[VIDEO] 这场演讲讲解了如何为键值存储高效地建模关系型数据。 — kbanman, 2020-03

相关视频