扩展 Linear 同步引擎
Scaling the Linear Sync Engine
频道:Linear · 时长:1:06:07 · 发布:2023-06-29 · 播放:37224
简介
一位 Linear 工程师谈论如何扩展公司的同步引擎,该引擎使客户端数据保持本地并同步。这是继之前关于同一系统的演讲之后的后续。
HN 为什么推荐
每当涉及本地优先软件、同步引擎和 CRDT 替代方案时,都会被推荐,作为实际生产环境的经验分享。
Karri 关于 Linear“同步引擎”的演讲也值得一看 — HN, 2023
中文字幕节选
欢迎来到我的第二场实时同步演讲。 如果你还没看过第一场,呃,有谁看过我做的第一场? 几乎所有人都看过。太棒了。 我会快速回顾一下那场演讲,因为它大致讲了同步引擎内部是如何工作的。 同步引擎是如何工作的。 呃,而这场演讲算是那场的延续。 呃,我想大致讲一下我们在扩展同步引擎时遇到的挑战, 以及它实际上是如何工作的,呃,在Linear应用里, 我们做了哪些改动,也许还有围绕它的API是如何形成的, 你知道,因为那些扩展方面的挑战。 呃,那么,呃,你知道,一开始,我们总是希望建立在坚实的基础上。 呃,这一点对同步引擎来说同样适用。 这实际上是我开始接触Linear时着手做的第一件事, 大概是在5年半以前。 呃,我们作为一家初创公司,花了相当多的时间来构建这个同步引擎, 呃,通常这不是任何初创公司会去做的事情。 通常任何初创公司都不会这么做。 比如你会想先构建产品,呃,以验证 你正在构建的东西是否足够好。 呃,但我们一直以来的想法是,你知道,我们并不是在构建什么新东西。 我们知道市场是存在的,呃,而且有 数百万计的用户在使用,呃,哎呀。 好了。刚才走神了一下。 呃,那些使用问题跟踪、项目管理的用户。 呃,我们取胜的方式就是,呃,构建更好的东西。 呃,比现有的解决方案好上10倍的东西。 所以我们在早期就专注于确保我们有一个坚实的基础来构建。 确保我们有一个坚实的基础来构建。 呃,其中之一就是同步引擎。 呃,我们花了一段时间才真正理解 好处是什么。就像你知道的,我们一开始是思考 用户能获得什么好处,通过构建整个 应用在一个实时同步引擎上,这显然就是 它的实时性方面。 你会立即看到其他用户所做的任何更改。 我们还设想的其他好处是,你知道,应用会带来性能提升,因为 有了同步,你可能不需要 为每个页面请求都去访问网络并加载更多数据。 但你知道,你可以将其存储在本地,然后简单地访问并加载它, 你知道,从数据库甚至将其保存在内存中。 嗯,也许我们最后发现的是,如果我们把所有东西 都存储在本地数据库中,也许我们还能支持离线功能。 这基本上就是我们现在所看到的那些好处。 我认为你知道,没有添加任何新的好处 到用户端。 但你知道,随着我们继续前进,以及我们在过去几年中构建Linear, 令人惊讶的是, 工程上的好处也随之而来。 嗯,同步实际上就是应用的核心,它带来了 至少我会说,我们工程师的生产力提高了。 嗯,思考的方式是,你真的不再需要 考虑网络或一些错误处理场景。 嗯,但你知道,网络应用的许多复杂性都被 引擎本身为你处理了。 嗯,如果你想简化一下,作为一名工程师,你所拥有的就是一个 内存中的数据模型图或数据图。 嗯,然后你将其呈现给用户,修改它,就这样。 你真的不需要处理其他任何事情。 嗯,同步引擎会处理数据的持久化,确保如果服务器不接受这些更改, 事情会被回滚。 嗯,或者确保在没有
HN 上的讨论
你可能不一定需要 CRDT 本身,但构建协作体验实在太难了。我做过一段时间的协作系统,也读过一些关于 Figma 和 Notion 如何实现的内容(这是一篇好文章:[LINK])——要做好仍然超级难。Karri 关于 Linear“同步引擎”的这个演讲也值得一看:[VIDEO]。 — saqadri, 2023-11
这篇文章对许多项目和这方面的进展都很有启发。我认为我们正看到越来越多围绕 CRDT 和本地优先框架/应用的开发。我正在这个领域做几个项目:- [LINK] - 面向 TypeScript / React 的 Notion 遇上 Notebook 风格实时编程 - [LINK] - 基于 TipTap / Prosemirror 构建的富文本编辑器,支持 Yjs 以实现本地优先协作 - [LINK] - 对 Yjs 的封装,便于开发 根据我目前的经验,构建本地优先应用时,有些事会变得更复杂,有些事则会容易得多。变容易的是,一旦你建模并实现了数据层(这确实需要你重新思考/摒弃一些原则),你就不需要像在常规的“基于 API”的应用中那样担心数据获取、错误等问题。我推荐的另一个关于这个主题的有趣视频是关于 Linear 的“同步引擎”,它也采用了一些本地优先技术:[VIDEO] — YousefED, 2023-10
> 以前的同步引擎真的希望你同步所有数据 Linear 不得不使出各种花招才能同步所有数据,对于拥有大量数据的组织——这里有一个关于此的演讲:[VIDEO] — probabletrain, 2025-03
(这大概应该单独发一帖)CRDT 和本地优先这些想法在过去十年左右一直处于炒作周期中,大约从 Riak CRDT 成为热门开始,一直延续到今天。Niki 的文章就是一个完美的例证:CRDT 提供这种“神奇”的体验,看起来完美无缺,直到你尝试用它构建产品。然后它就变成了一场权衡的噩梦:- 基于状态还是基于操作?你要裁剪状态吗?怎么裁剪?- 它真的是 CRDT(不可能有冲突),还是一个带有显式冲突检测的结构,或者是一个披着外衣的最后写入者胜出/任意选择,总是会丢失数据?举个例子:Automerge 使用伪随机冲突解决,所以如果 Niki 的解决方案在没有直接因果关联的编辑之间添加数据,就会丢失数据。要了解这一点,你必须去 Automerge 文档的“底层”部分,非常仔细地阅读合并规则。对特定用例来说这可能可以接受,但很少有人会读到那么远!- 最坏情况复杂度是什么?举个例子:yjs 提供的接口… — dgroshev, 2024-06
提醒一下:这是嵌入在博客文章中的视频([VIDEO]),似乎没有附带的纯文本版本。 — notamy, 2023-06
相关视频
- RailsConf 2014 - Sandi Metz 谈所有的小细节 · Confreaks · 38:47
- Erlang和Elixir的灵魂 • Sasa Juric • GOTO 2019 · GOTO Conferences · 42:02
- “简单造就易用” - Rich Hickey (2011) · Strange Loop Conference · 1:01:38
- 事件循环到底是什么?| Philip Roberts | JSConf EU · JSConf · 26:52
- Rich Harris - 重新思考响应式 · You Gotta Love Frontend · 36:45
- Richard Feldman 谈“让不可能的状态不可能” · elm-conf · 25:06
- “用确定性模拟测试分布式系统” by Will Wilson · Strange Loop Conference · 40:20
- 如何设计好的 API 以及为什么它很重要 · Google TechTalks · 1:00:19
- Rich Hickey 谈价值的价值 · InfoQ · 31:43
- 《守望先锋》游戏架构与网络代码 · GDC Festival of Gaming · 1:04:03
- 用 Clojure 的方式解决问题 - Rafal Dittwald · Clojure/north · 1:02:26
- 第一讲A:Lisp概述与简介 · MIT OpenCourseWare · 1:12:55
- Alan Kay - 正常被认为有害 · powerfuloutlet · 1:07:26
- Crockford 谈 JavaScript - 第一卷:早年 · YUI Library · 1:42:08
- RailsConf 2016 - Turbolinks 5:难以置信它不是原生的! by Sam Stephenson · Confreaks · 37:37
- 软件设计哲学 | John Ousterhout | Talks at Google · Talks at Google · 1:01:40