“压缩不可压缩之物” by Bobby Powers
"Compacting the Uncompactable" by Bobby Powers
频道:Strange Loop Conference · 时长:40:18 · 发布:2019-09-14 · 播放:29271
简介
Bobby Powers 介绍了 Mesh,一个直接替换 malloc 的替代品,通过压缩内存消除未修改的 C/C++ 程序中的内存碎片。演讲涵盖它如何在 C 的固定对象地址下工作,以及它对 Redis 等程序的好处。
HN 为什么推荐
推荐作为解决 C/C++ 以及 Ruby 和 Python 等运行时碎片问题的精彩演讲,无需更改代码。
在 Strange Loop 上有一个很棒的演讲,关于一个直接替换 malloc 的替代品,它可以压缩。 — HN, 2022
中文字幕节选
我是Bobby,今天我要和大家聊聊如何压缩那些无法压缩的东西 即为C和C++程序提供内存压缩,我 想从今天开始先讲一个故事,这个故事是关于不可能的 梦想。这个故事有一个更古老的版本,主角是堂吉诃德,拉曼查的 骑士。在这个更古老的版本中,他想要重新征服或 将骑士精神重新引入整个西班牙。但今天我们要讲的版本 主角是拉曼查的Malek,我们不是要重新征服整个 西班牙,而是想要分配整个西班牙。所以在这个故事中,我们有西班牙, 当我们的英雄Malek收到请求时,他在地图上查看,找到 三块西班牙的土地,然后把它们交给请求者。你知道, 在故事的开头,这个过程相当简单,我们可以直接 在地图上推进,分配我们找到的下一个空闲块。然而随着 时间推移,我们之前分配的一些旧区域不再需要了,被释放了, 所以最终我们陷入这样一种情况:地图上散布着一些小的空闲 空间块,然后我们收到一个新的请求,一个大的 分配请求,不幸的是我们没有足够的连续空闲空间 彼此相邻来满足这个请求。我们的英雄真正想做的 是能够以某种方式将这些现有的请求移动到一起, 从而将所有空闲空间也移动到一起,这样我们就能满足 这个请求。不幸的是,这并不简单。如果你想象在 现实世界中,如果你购买了一块土地来建房子,你在那里建了房子, 你开始在这个房子里养家糊口,然后有人出现告诉你 实际上你的土地在左边四英里处,你会感到非常愤怒和 悲伤,这基本上就是程序遇到段错误时的感觉。所以我们不能 这样做,我们讨论的这个问题就是内存碎片化。 内存碎片化是指程序从操作系统请求的内存 远多于你正在使用的活跃对象的总和,当这个 比率远大于1时。实际上有很强的理论界限,可以 追溯到1977年Robson的研究,表明在像 C和C++这样使用非移动分配器的语言编写的程序中,这种 碎片化可以超过一个数量级,最高可达13倍,并且它与 最大大小类与最小大小类的比值的对数相关。 当我们谈论将东西移动到一起时,这就是内存 压缩,它让我们能够将活跃对象移动到一起, 将剩余的内存归还给操作系统,以便操作系统 可以将其用于其他程序或更好的用途。在原始版本的 这个故事中,堂吉诃德向风车冲锋,对吧?他与想象中的 敌人战斗。但不幸的是,我们现代故事中的另一个不同之处是我们有 一些真正的敌人或对手。这是Ken Thompson和Dennis Ritchie,他们 发明了C编程语言,这可以说是我们问题的根源。 但不仅仅是C编程语言,还有建立在它之上的语言, 比如C++,它们采用手动内存管理,而最近 还有像Rust和Swift这样的语言,它们自动化了一些内存管理, 但没有移动内存分配器,它们在底层选择了 手动管理内存。Chris Lattner是创建了LLVM然后 创建了Swift编程语言的开发者,他谈到了为什么一个现代编程 语言,在最近几年创建的,会选择放弃使用垃圾 收集器,会选择放弃一些可能在这里帮助我们的技术。他
HN 上的讨论
Emery Berger 团队有一篇很棒的论文,他们合并变得稀疏的内存页。这是一种针对 C 和 C++ 语言的垃圾回收。YouTube 上也有一个很好的相关演讲。[LINK] 演讲:[VIDEO] — superjan, 2025-01
Strange Loop 上有一个很棒的演讲,讲的是一个可压缩的即插即用 malloc 替代品。显然它实际上在 Redis 等工业项目中带来了内存使用改进:[VIDEO] — rtfeldman, 2022-07
Bobby Powers 有一个有趣的演讲 [0],讲如何实现能执行压缩的 malloc() 和 free(),以便更频繁地将内存归还给操作系统(并提高缓存命中率等)。但这还完全不是标准做法。[1]: [VIDEO] — remexre, 2020-12
> 但基于 malloc/free 的系统也因碎片化而有相对较高的内存开销 如果你还没看过,这方面已有一些有趣的进展:[VIDEO] — ssokolow, 2022-06
相关视频
- “ATS 系统编程(不那么温和的)介绍” by Aditya Siram · Strange Loop Conference · 36:58
- SpaceX IPO 丑闻 · Patrick Boyle · 30:13
- Python如何被泄漏的内部机制塑造,Armin Ronacher,Flask框架 · Видео с мероприятий {speach! · 49:55
- CppCon 2015:Andrei Alexandrescu “std::allocator...” · CppCon · 1:12:27
- Go 中的词法扫描 - Rob Pike · GoogleFOSSSydney · 51:17
- 防止文明崩溃 / Jonathan Blow (Thekla, Inc) · DevGAMM · 1:02:41
- Emery Berger 的“性能至关重要” · Strange Loop Conference · 42:15
- 三千万行代码问题 · Molly Rocket · 1:48:55
- CppCon 2017: Matt Kulukundis “逐步设计一个快速、高效、缓存友好的哈希表” · CppCon · 59:33
- RustConf 2018 - 闭幕主题演讲 - 使用 Rust 进行游戏开发 by Catherine West · Rust Programming Language · 42:29
- Erlang Factory 2014 - 那是带 'B' 的 'Billion':在 WhatsApp 扩展到下一个级别 · Erlang Solutions · 49:15
- 古惑狼如何黑掉原版PlayStation | 战争故事 | Ars Technica · Ars Technica · 31:37
- Gil Tene 的 "如何不测量延迟" · Strange Loop Conference · 42:59
- CppCon 2016: Jason Turner “为微型计算机编写丰富代码:用C++17实现一个简单的Commodore 64游戏” · CppCon · 1:19:52
- 关于游戏新编程语言的想法。 · Jonathan Blow · 1:55:24
- Refterm讲座第一部分 - 优化哲学 · Molly Rocket · 18:41