快速解析 JSON:经验教训
Parsing JSON Really Quickly: Lessons Learned
频道:InfoQ · 时长:47:52 · 发布:2020-01-15 · 播放:85861
简介
Daniel Lemire 在 QCon 的演讲,介绍 simdjson 如何每秒解析数 GB 的 JSON。内容涵盖 SIMD 向量化、分支预测以及构建快速解析器的经验教训。
HN 为什么推荐
HN 用户认为这是对 simdjson 内部机制以及为什么快速解析很少受磁盘限制的最佳解释。
如果你对这类东西感兴趣,值得一看。 — HN, 2021
软件性能与优化 · 编译器、解释器与程序分析 · 算法与数据结构
中文字幕节选
我叫Daniel Amir,来自魁北克大学,我将要和大家谈谈 如何非常快速地解析JSON。我是可能是世界上 最快的JSON解析器之一的作者,所以我会尝试告诉你们 我们使用的策略,并给你们一些我们积累的技巧示例, 这些技巧使得这一切成为可能。那么我 从一个相对简单且朴素的问题开始, 以此引出我的演讲。如果我给你一个相对较大的文件, 让你用软件读取它,然后我问你,你的极限是什么? 对吧,你是受限于磁盘的性能,还是受限于 处理器的性能?我不会要求举手,但我会 猜测大多数人会说严格受限于磁盘,我 可以用网络来重新表述同样的问题, 但我认为情况比人们有时想的要更复杂一些。 在准备这次演讲时,我对我桌上的iMac进行了磁盘基准测试, 就是校园里我桌上那台普通笨拙的iMac, 它的额定速度是 每秒2.2吉字节,这是云存储,当然还有更好的磁盘 存在,还有网络适配器要快得多, 所以让我们比较一下 我们用软件执行非常非常简单的任务能有多快。 比如说,我取一个相对较大的文件,把它放入 内存。现在我的内存可能不会成为瓶颈,因为我可以 每秒读取几十吉字节, 而且更轻松,所以不用担心内存。 让我们试着遍历文件中的两行,只是把 它们的长度加起来。这是一个愚蠢的基准测试,但重点是说明 你能对这种数据做的最简单的事情。如果我用一个 相当标准的CPU进行基准测试,我得到的速度是每秒 不到一吉字节。所以如果我的输入是磁盘, 在这种情况下我会完全受限于CPU,如果 磁盘完全归我使用且文件足够大。现在你可以切换到 你可以切换到C++,而且我仍然只是相当朴素地 使用两个标准API,所以在这种情况下 在我的测试中我得到稍微好一点的结果,所以我突破了一吉字节每秒的 障碍,基本上还是 同样的愚蠢测试。我的重点并不是我不能把这些事情做得 快得多,所以当然无论你用Java还是C++,你都可以 肯定能超过这些数字,但这里我只是想说明,如果你 写代码,只是标准代码,你可能很难达到 每秒处理吉字节数据的速度。有趣的是, 文件方面,现在这里没人会说 这个,但有些人可能会说,好吧,但这不重要,因为你的 处理器或核心明年或两年后会快得多,那是 人们在90年代常说的。现在当然我们都知道我们的核心 每年都不会快多少,所以如果我们要 达到每秒处理吉字节数据的速度,我们最好有好的软件来 做到。当然没人关心解析文本行并 在软件中计算它们的长度,那是个愚蠢的问题,但人们确实关心 像JSON这样的事情。我假设大多数人听说过JSON这个词, 希望如此,它是相当标准的东西,已经确立,相当简单, 你有数组、字符串、数字,都用一些 文本粘合在一起,公共API是 等等,如果整个系统都围绕传递JSON构建, 所以这里有很多人,不是所有人,但 足够多的人说,他们都有这些很酷的AI东西,但他们的 服务器只是把所有时间花在生成和解析JSON上,我 看到几个人在笑,所以也许这发生在你身上,这有点愚蠢,如果你
HN 上的讨论
Daniel Lemire 有一个有趣的演讲:[VIDEO]。关键要点是磁盘很少是瓶颈。 — D4ckard, 2024-01
我觉得这些优化很吸引人。熟悉 Lemire 的人可能都知道这个,但我几天前听了一期他的播客 [1],了解到了 `simdjson`,这是他编写的工具,解析 JSON 的速度是标准 C++ 库的 25 倍。[2][3] 如果你喜欢这类东西,值得一看。 1. [LINK] 2. [VIDEO] 3. [LINK] — Rendello, 2021-10
我深有同感。我就是那种开始写 CSV 库,然后一头扎进边界情况和可配置性兔子洞的人。回头看(只从生产力角度考虑),我的时间本可以花在别的事情上。不过,我确实在这个过程中学到了很多:- 文本在计算机中是如何表示的(以及所有注意事项),- 如何识别和调优慢代码,- 如何向量化代码(感谢 Daniel Lemire 的 [VIDEO]),- 如何更好地封装代码,- 如何使用一些优秀的 CSV 工具(感谢 Leon 的 [LINK]),- 如何更好地管理和沟通一个开源项目。总而言之,我仍然不确定这是不是一个错误。而且当时 Swift 并没有真正好的 Codable 接口来处理 CSV。不过,下次遇到类似问题时,我可能会直接包装一个 C 库并创建一个好的接口。无论如何,如果你在用 Swift 编码并且需要 CSV 编码器/解码器,你可能想看看 [LINK] — dehesa, 2020-05
Github:[LINK] 它展示了一种特别巧妙的方案,用于转义 JSON 字符串以及解析 JSON 所需的其他标记。Daniel Lemire——作者之一在 QCon 2019 的演讲:[VIDEO] 另一个解释它的 YouTube 视频:[LINK] — ubedan, 2026-07
GitHub 页面链接到一个解释一些内部原理的视频 [1]。有人能评论一下他们在 14:26 展示的结果吗?我的理解是,他们运行了一段基于伪随机序列执行 2000 个分支的代码。在大约 10 次运行中,CPU 据称学会了正确预测这 2000 个分支,性能稳步提升。现代分支预测器真的有能力记住同一分支指令过去 2000 个决策的精确序列吗?另外,为什么性能会像那样逐步提升?我以为它会在第一次运行时记住循环历史,并在第二次运行时达到最大性能。我怀疑硅片中真的有作者推测的神经网络。 [1] [VIDEO] — avian, 2020-08
相关视频
- Andrew Kelley:面向数据设计(DoD)的实用指南 · ChimiChanga · 46:40
- 老式电饭煲极其聪明 · Technology Connections · 11:11
- 内存分配器到底是什么? - Benjamin Feng · Zig SHOWTIME · 48:30
- Joe Armstrong 与 Alan Kay——Joe Armstrong 采访 Alan Kay · Erlang Solutions · 1:16:55
- 主题演讲 - 在时间预算内预防、发现和修复 Bug | Raymond Hettinger @ PyBay2018 · SF Python · 40:00
- 30种奇怪的国际象棋算法:Elo世界 · suckerpinch · 42:35
- Casey Muratori – 大型面向对象编程:一个三十五年错误的剖析 – BSC 2025 · Better Software Conference · 2:27:33
- 郊区开发如何让美国城市更贫穷 [ST02] · Not Just Bikes · 8:13
- 替代汽车的自行车(bakfiets) · Not Just Bikes · 10:45
- DEFCON 17:我被索赔二十亿美元的那段精彩经历 · Christiaan008 · 31:27
- 在西伯利亚荒野生存 70 年(完整版) · VICE · 35:45
- 为什么加拿大人不能在冬天骑自行车(但芬兰人可以) · Not Just Bikes · 15:13
- Evan Czaplicki 谈“编程语言的经济学”(Strange Loop 2023) · Strange Loop Conference · 43:57
- CppCon 2016: Nicholas Ormrod “Facebook中std::string的奇怪细节" · CppCon · 31:18
- Python如何被泄漏的内部机制塑造,Armin Ronacher,Flask框架 · Видео с мероприятий {speach! · 49:55
- Rich Harris - 重新思考响应式 · You Gotta Love Frontend · 36:45