我们如何扩展 Dropbox
How We've Scaled Dropbox
频道:Stanford · 时长:1:08:16 · 发布:2012-09-10 · 播放:372798
简介
Dropbox 工程师 Kevin Modzelewski 在斯坦福学术报告会上讲述了 Dropbox 的历史及其在扩展中面临的技术问题,包括详细的数据库模式决策。
HN 为什么推荐
被推荐为一份详细、坦诚的案例研究,讲述如何将真实系统从零用户扩展到数百万用户。
我发现斯坦福的 Dropbox 讲座 [1] 是最引人入胜的内容之一。 — HN, 2018
数据库与存储 · 分布式系统 · 云、DevOps 与可靠性
中文字幕节选
[音乐] 斯坦福 大学 欢迎来到 dou 380 2011 年冬季学期 我是 Andy Freeman 另一位课程 组织者是 Dennis Allison 我们快到学期末了 所以如果你 选这门课是为了拿学分 请跟上进度 记住没有 incomplete 嗯 我们已经谈过 很多关于大型系统和可扩展系统的内容 但我们很少甚至没有谈过 关于快速增长的系统的内容 而快速增长是大多数初创公司的目标 但它 在财务和技术上可能极其困难 今天的演讲者是 Dropbox 的 Ted meleski 他 有幸拥有极快的需求增长 今天的演讲 是关于 Dropbox 如何以极少的资源应对技术挑战的 谢谢 大家好 呃 我叫 Kevin majeski 呃 我是 Dropbox 的服务器团队负责人 呃 服务器团队这个名字有点 历史遗留 呃 我稍后会谈到 呃 但我们负责 Dropbox 后端的架构和演进 这就是我今天来这里 要跟大家讲的 呃 所以演讲的大致结构是 首先 介绍一下这个演讲是什么 然后 呃 一些关于 Dropbox 的背景 什么是 Dropbox 我们面临什么样的技术挑战 呃 这将为 第三部分提供一些见解 即我们随时间推移必须扩展的一些例子 会涉及 相当多的细节 这样你们既能看到我们做了什么 也能看到所有其他 我们考虑过但可能做过的事情 以及为什么我们没有选择那些 然后 呃 最后是一个简短的总结 呃 如果你们有问题 随时 可以 呃 随时提出来 好的 那么直接进入正题 什么是 这个演讲 呃 正如他提到的 呃 有很多演讲和很多信息 关于大型系统是什么样子 你知道谷歌和 Facebook 这样的公司 他们现在拥有什么 呃 但当你 独自一人或可能只有另一个人一起创业时 这并不能帮你太多 你一无所有 你必须从那里走到拥有很多 你 知道 如果你想现在只用两个人来构建 Dropbox 我的意思是 理论上 一个选择是你可以采用谷歌的基础设施并在其上构建 但世界上 只有一家公司有这个选择 那就是谷歌 所以如果你 不是他们 你该怎么办 你如何达到那里 呃 有很多事情我可以谈 属于这个类别 关于如何在初创公司工作 呃 比如 你必须担心哪些事情 特别是 我将谈论 与后端工程相关的技术问题 呃 所以这是一个关于 在一个快速变化的后端和快速增长的环境中工作是什么感觉的演讲 呃 你的资源与需求同时增长 你不可能 一开始就采用最终的解决方案 我认为这 应该很有趣 呃 这是我希望在我还在学校时就能听到的演讲 呃 因为你知道 你学会了如何构建 BigTable 你学会了如何 构建 GFS 呃 然后你走出去 你意识到只有你自己 你并没有 像他们在这些项目之一中那样投入五个人年 呃 所以如果你 真的想创办一家初创公司 我希望这个演讲有趣 在 让你了解你可能如何实际去做 以及它可能是什么样子 在技术背景方面 呃 因为正如我所说 还有更多
HN 上的讨论
我发现斯坦福大学的Dropbox讲座[1]是有史以来最引人入胜的内容之一。Dropbox背后有如此多的技术,令人震惊。它比iCloud同步、Google Drive、Box或OneDrive好得多是有原因的。[1] [VIDEO] — fermienrico, 2018-09
在我看来,最好的方法是看看别人已经构建了什么。以下是我最喜欢的一些演讲,它们讲述了从0用户到数百万用户的过程。Dropbox - [VIDEO] Instagram - [LINK] Slack(额外补充。虽然不那么适用,但很好地提醒了为什么初始架构确实重要) - [LINK] — testb, 2018-06
Dropbox 远不止是 rsync 之上的 GUI。即使纯粹从工程角度(忽略产品和设计),那也是不正确的。你可能会喜欢这个演讲:[VIDEO] — jesseendahl, 2018-03
应用程序在达到规模之前并不真正需要良好的架构。然后,它们系统中需要缓解压力的部分将需要重新架构。这几乎像一个案例研究,YouTube 上有很多来自 Dropbox 和 Facebook 等地方的好演讲,解释了问题和解决方案。例如:[VIDEO] 如果你不想做 YouTube 案例研究,也有关于分布式系统的书可读。此外,阅读云架构也会有所帮助。 — bradgnar, 2017-07
这是一个关于 Dropbox 架构从2012年演变的演讲:[VIDEO] 。它非常详细(详细到他们用于文件元数据的确切 SQL 模式等)。 — rawnlq, 2014-10
相关视频
- 中国如何追踪所有人 · VICE News · 12:55
- iOS 安全幕后 · Black Hat · 51:31
- Steve Jobs 2005 年斯坦福大学毕业演讲 · JoshuaG · 14:34
- Erlang和Elixir的灵魂 • Sasa Juric • GOTO 2019 · GOTO Conferences · 42:02
- “用确定性模拟测试分布式系统” by Will Wilson · Strange Loop Conference · 40:20
- Rich Hickey 谈价值的价值 · InfoQ · 31:43
- Velocity NY 2013: Richard Cook, "复杂自适应系统中的韧性" · O'Reilly · 19:09
- 火线调试:系统失控时保持冷静 • Bryan Cantrill • GOTO 2017 · GOTO Conferences · 52:34
- AWS re:Invent 2018: Amazon DynamoDB 深入探讨:DynamoDB 高级设计模式 (DAT401) · Amazon Web Services · 59:56
- Erlang Factory 2014 - 那是带 'B' 的 'Billion':在 WhatsApp 扩展到下一个级别 · Erlang Solutions · 49:15
- Martin Kleppmann 的 "用 Apache Samza 将数据库翻转" · Strange Loop Conference · 47:42
- 系统的语言 - Rich Hickey · ClojureTV · 1:02:49
- Google I/O 2012 - Go 并发模式 · Google for Developers · 51:27
- Literate Devops with Emacs · Howard Abrams · 28:36
- 最终一致性的冲突解决 • Martin Kleppmann • GOTO 2016 · GOTO Conferences · 51:35
- “Unison:一种新的分布式编程语言” by Paul Chiusano · Strange Loop Conference · 41:05