“压缩不可压缩之物” by Bobby Powers

"Compacting the Uncompactable" by Bobby Powers

频道:Strange Loop Conference · 时长:40:18 · 发布:2019-09-14 · 播放:29271

在 YouTube 观看

简介

Bobby Powers 介绍了 Mesh,一个直接替换 malloc 的替代品,通过压缩内存消除未修改的 C/C++ 程序中的内存碎片。演讲涵盖它如何在 C 的固定对象地址下工作,以及它对 Redis 等程序的好处。

HN 为什么推荐

推荐作为解决 C/C++ 以及 Ruby 和 Python 等运行时碎片问题的精彩演讲,无需更改代码。

在 Strange Loop 上有一个很棒的演讲,关于一个直接替换 malloc 的替代品,它可以压缩。 — HN, 2022

C、C++、Rust、Go 与系统语言 · 软件性能与优化

中文字幕节选

我是Bobby,今天我要和大家聊聊如何压缩那些无法压缩的东西 即为C和C++程序提供内存压缩,我 想从今天开始先讲一个故事,这个故事是关于不可能的 梦想。这个故事有一个更古老的版本,主角是堂吉诃德,拉曼查的 骑士。在这个更古老的版本中,他想要重新征服或 将骑士精神重新引入整个西班牙。但今天我们要讲的版本 主角是拉曼查的Malek,我们不是要重新征服整个 西班牙,而是想要分配整个西班牙。所以在这个故事中,我们有西班牙, 当我们的英雄Malek收到请求时,他在地图上查看,找到 三块西班牙的土地,然后把它们交给请求者。你知道, 在故事的开头,这个过程相当简单,我们可以直接 在地图上推进,分配我们找到的下一个空闲块。然而随着 时间推移,我们之前分配的一些旧区域不再需要了,被释放了, 所以最终我们陷入这样一种情况:地图上散布着一些小的空闲 空间块,然后我们收到一个新的请求,一个大的 分配请求,不幸的是我们没有足够的连续空闲空间 彼此相邻来满足这个请求。我们的英雄真正想做的 是能够以某种方式将这些现有的请求移动到一起, 从而将所有空闲空间也移动到一起,这样我们就能满足 这个请求。不幸的是,这并不简单。如果你想象在 现实世界中,如果你购买了一块土地来建房子,你在那里建了房子, 你开始在这个房子里养家糊口,然后有人出现告诉你 实际上你的土地在左边四英里处,你会感到非常愤怒和 悲伤,这基本上就是程序遇到段错误时的感觉。所以我们不能 这样做,我们讨论的这个问题就是内存碎片化。 内存碎片化是指程序从操作系统请求的内存 远多于你正在使用的活跃对象的总和,当这个 比率远大于1时。实际上有很强的理论界限,可以 追溯到1977年Robson的研究,表明在像 C和C++这样使用非移动分配器的语言编写的程序中,这种 碎片化可以超过一个数量级,最高可达13倍,并且它与 最大大小类与最小大小类的比值的对数相关。 当我们谈论将东西移动到一起时,这就是内存 压缩,它让我们能够将活跃对象移动到一起, 将剩余的内存归还给操作系统,以便操作系统 可以将其用于其他程序或更好的用途。在原始版本的 这个故事中,堂吉诃德向风车冲锋,对吧?他与想象中的 敌人战斗。但不幸的是,我们现代故事中的另一个不同之处是我们有 一些真正的敌人或对手。这是Ken Thompson和Dennis Ritchie,他们 发明了C编程语言,这可以说是我们问题的根源。 但不仅仅是C编程语言,还有建立在它之上的语言, 比如C++,它们采用手动内存管理,而最近 还有像Rust和Swift这样的语言,它们自动化了一些内存管理, 但没有移动内存分配器,它们在底层选择了 手动管理内存。Chris Lattner是创建了LLVM然后 创建了Swift编程语言的开发者,他谈到了为什么一个现代编程 语言,在最近几年创建的,会选择放弃使用垃圾 收集器,会选择放弃一些可能在这里帮助我们的技术。他

HN 上的讨论

Emery Berger 团队有一篇很棒的论文,他们合并变得稀疏的内存页。这是一种针对 C 和 C++ 语言的垃圾回收。YouTube 上也有一个很好的相关演讲。[LINK] 演讲:[VIDEO] — superjan, 2025-01
Strange Loop 上有一个很棒的演讲,讲的是一个可压缩的即插即用 malloc 替代品。显然它实际上在 Redis 等工业项目中带来了内存使用改进:[VIDEO] — rtfeldman, 2022-07
Bobby Powers 有一个有趣的演讲 [0],讲如何实现能执行压缩的 malloc() 和 free(),以便更频繁地将内存归还给操作系统(并提高缓存命中率等)。但这还完全不是标准做法。[1]: [VIDEO] — remexre, 2020-12
> 但基于 malloc/free 的系统也因碎片化而有相对较高的内存开销 如果你还没看过,这方面已有一些有趣的进展:[VIDEO] — ssokolow, 2022-06

相关视频