Heap 的 Dan Robinson 在 PGConf Silicon Valley 2015 上的分组会议

Breakout Session Presented by Dan Robinson of Heap at PGConf Silicon Valley 2015

频道:Citus Data · 时长:54:53 · 发布:2015-11-24 · 播放:14307

在 YouTube 观看

简介

时任 Heap 首席技术官的 Dan Robinson 解释了 Heap 如何在 PostgreSQL 和 CitusDB 上运行其产品分析后端。它涵盖了跨数百亿事件和 50 TB 数据的转化漏斗、留存和群组查询,以及 Postgres 和 Kafka 的结合和索引策略。

HN 为什么推荐

HN 评论者指出它是对 Heap 的 Postgres/Citus 架构及其独特索引方法的第一手概述。

Heap Analytics 的 Dan 有一个关于他们如何使用 Postgres 和 Citus 的精彩演讲。 — HN, 2016

数据库与存储 · 分布式系统 · 数据科学与统计

中文字幕节选

嗯,我是Dan,今天来聊聊Heap以及它的底层工作原理,还有为什么它 会带来一个特别棘手的数据问题,以及我们如何用Postgres来驱动产品中所有的 分析功能。先简单介绍一下我自己,我于2013年7月加入Heap, 在那之前我在Palantir做各种后端分析 相关的工作。再之前我在斯坦福大学学习数学和计算机科学, 并做过一些机器学习方面的研究,这跟本次演讲 完全没关系。嗯,简单来说,我们会先介绍Heap是什么,以及为什么我们 定义Web分析产品的这种特定方式让它变得特别 难以构建。我们还会讨论查询和 读取路径是如何分布式的,以便我们能超越单节点来支撑。然后 我们会讲如何让那些单独的子查询,如何让本地 查询变快,用到各种Postgres技巧。接着我们会讨论所有 分布式系统运维是如何保持数据同步的。我先从 简要概述Heap是什么以及产品的基本工作方式开始。 Heap是一个Web和iOS分析工具,目标是帮你理解 你的用户,你知道,可以是任何东西,从他们正在使用 哪些功能,到我们的用户如何通过漏斗的各个步骤 转化,到这个营销活动给我们带来了多少新用户,或者,嗯,如果 一个人在注册我们产品后的4天内更新了个人资料照片, 这会如何影响三个月后或六个月后 他们仍然使用它的可能性。各种你想对产品做的分析。 所以,有十几种工具做类似的事情,它们基本上 工作方式都一样:给你一个API,你记录事件,然后之后你 拥有所有事件,你想做什么分析都行,漏斗、图表,所有 这些东西。假设我们有一个假设的旅行预订网站, 假设它叫Airbnb,你想了解某种 像结账流程,或者有多少比例的用户在购买酒店, 之类的。所以你可能会先让团队里的工程师 在结账按钮上埋点,你会给预订 酒店按钮添加一个点击处理器,记录booked hotel事件,也许你会遍历 应用的其余部分,这是你的搜索结果页面,你会埋点,比如 查看房源、登录、输入信用卡,以及所有 你觉得有趣的步骤。然后,你知道,一个月后或两个月 后,或者随便什么时候,你会有一个问题,大概是,你知道, 我们有多少比例的用户最终预订了酒店。这是一个相当基本的流程,你 真的很想理解它。所以你运行转化漏斗,发现 大多数查看房源的人最终都预订了酒店,但只有 4%到5%的登录用户最终查看了房源,这是一个 巨大的流失。所以你想了解他们在哪里流失,也许你 想添加一个中间步骤,比如他们是否做了搜索。如果他们做了 搜索,但没有浏览房源,也许我们的搜索结果页面不够 好。但如果他们登录后甚至都没到搜索那一步, 那也许我们需要让那个流程更顺畅。所以无论你发现什么, 都有很强的产品意义。所以你想添加一些中间 步骤,现在你需要找工程师来记录这些东西,然后等它出现在 他们的Jira里,成为他们应该做的头等大事,等代码 发布,如果是移动端还要等它通过App Store审核,等你的 用户升级,至少你需要等事件在现实中发生足够多次,

HN 上的讨论

我刚看了这个[0]来自 Heap Analytics 一位工程师的精彩演讲,讲他们如何使用 CitusDB + Postgres 做事件处理。什么用例下 TrailDB 会是显而易见、毫无悬念的首选(相比 Postgres + Citus 之类)?[0]: [VIDEO] — Judson, 2016-05
无论写入延迟如何,你都需要在数据库前面放一个队列。否则你就会把自己的可用性绑定到数据库的可用性上,因为停机(哪怕是升级导致的)往往不可避免,网络问题也很常见。Dan 几年前做过一个相当不错的演讲,讲了 Postgres 的高层细节以及为什么用它:[VIDEO] 。用 pg 的一个原因是,SQL 在构建复杂查询方面非常强大。 — macobo, 2017-06
关于 a),一个分片的 PostgreSQL(也就是用 Citus Data)只需增加一点点额外开销,就能轻松应对那种工作流。关于 c),这很大程度上取决于用例,我见过一些公司在类似规模下用 a) 来避免脑裂问题以及管理两条数据管道的麻烦,取得了巨大成功。你可能会觉得 [VIDEO] 有意思。 — macobo, 2017-01
请记住,Heap 收集了海量数据,拥有巨大的数据集。我喜欢这个[1]演讲,它能让你对他们的架构有个整体了解。不过这篇文章很棒,感谢分享。[1] [VIDEO] — simiano, 2016-09
如果你还没看过,Heap Analytics 的 Dan 有一个很棒的演讲,讲他们如何使用 Postgres 和 Citus。[VIDEO] — devbug, 2016-08

相关视频