CppCon 2019: Emery Berger “Mesh: 自动压缩你的C++应用程序内存”

CppCon 2019: Emery Berger “Mesh: Automatically Compacting Your C++ Application's Memory”

频道:CppCon · 时长:36:09 · 发布:2019-10-11 · 播放:14729

在 YouTube 观看

简介

Emery Berger在CppCon 2019的演讲,介绍了Mesh,一个可直接替换malloc的内存分配器,能在未修改的C和C++程序中压缩内存。它通过合并页面而不改变指针来解决碎片问题。

HN 为什么推荐

HN推荐Berger的演讲为引人入胜,并引用Mesh作为令人惊叹的内存分配器工作。

the weird and wonderful work of Emery Berger et al with their “Mesh” malloc implementation, which blows my mind — HN, 2023

C、C++、Rust、Go 与系统语言 · 软件性能与优化

中文字幕节选

好的,首先我总是喜欢从一个故事开始,所以今天的故事是一个 故事,有些人可能听过,这就是《拉曼查的男人》,他有一个不可能的 梦想,这是堂吉诃德,他不可能的梦想是重新征服整个西班牙,真的 为了骑士精神,对吧,所以复兴骑士精神,让西班牙再次伟大,所以这是一个 一个稍微不同版本的堂吉诃德的故事,他是拉曼查的马利克 他的目标是分配整个西班牙,好的,所以他开始分配 西班牙的一小块一小块,这是正常的方式,对吧,指针,所以就开始 从左到右,从上到下征服西班牙,对吧,所以他就一直继续 马利克,马利克,马利克,一切都很棒,你知道有时候会有一些 挫折,对吧,所以你填满了这个点,有些人熟悉这个 故事可能知道他把风车误认为巨人,所以巨人回来了 释放了一块,对吧,所以那太糟糕了,所以现在他说,好吧,我要征服 一大堆西班牙,对吧,我要为骑士精神获得一大片,所以这里这个 大片,问题是,我该怎么处理这片,对吧,它不适合 任何地方,现在在一个你可以做类似俄罗斯方块风格的世界里,你可以 只是重新洗牌所有的碎片,对吧,重新洗牌整个西班牙,然后你得到一个不错的 小块,对吧,所以那会很棒,就像你看到感叹号 当然应该是这个感叹号,所以不幸的是你实际上不能 这样做,对吧,所以这真的是在向风车冲锋,对吧,你不能只是拿C 程序并让这发生,对吧,或者C++程序或任何基于C类 语言的东西,所以问题是我们喜欢在堂吉诃德世界里称之为从共同 路径消失,所以基本上你可以定义 碎片化,我要做,有很多定义方式,我要这样定义 你有一堆可用的内存,这是你的操作系统页面,那是西班牙, 你有你的活动对象,这些是malloc分配的,所以碎片化基本上是 你消耗的所有空间,即所有操作系统页面除以活动 对象的数量,对吧,如果它远大于一就不好,所以事实证明它可能 实际上令人震惊地灾难性,通常不是,但最坏情况是惊人的,所以 有一个经典结果由Robson在77年证明,他表明 有点令人惊讶的是,任何不能移动东西的内存分配器,所以C C++ 等等,实际上可能受到这种内存消耗量的巨大膨胀的影响 可能高达13倍或更多,好的,所以那个小数字是 用来表示它,它是你请求的最大对象的对数除以 你请求的最小对象,所以如果你分配一个8字节对象和一个16 兆字节对象,那么16兆字节除以8的对数,那就是你潜在的膨胀,所以 那相当糟糕,好的,13倍很多,现在当然如果你有 压缩,那么这永远不会是问题,好的,我知道这不是真的 该说的,但没关系,好的,所以基本上它会很漂亮,这会 都解决,我们线下谈,好的,所以不管怎样,所以 我也对堂吉诃德做了一些自由发挥,所以你知道,让我们保持真实 好的,所以呃,不管怎样,所以我们做这个压缩,如果你有压缩,显然 总是可以挤出所有空空间,对吧,那么它就是1阶,这很 棒,对吧,但不幸的是我们不住在那个世界,这个世界是由 堂吉诃德所知道的最大的恶棍为我们创造的,不是风车,而是

HN 上的讨论

你需要你的 malloc 实现和应用程序代码之间的合作。这是可能的,但很棘手。如果你的 malloc 返回一个指向指针的指针,并承诺保持第一级指针最新,并且能够在移动东西时锁定你的应用程序,它就可以工作。其他人已经提到,但垃圾收集语言实际上就是这样做的。因为它们完全控制内存(语言不暴露原始指针),它们能够创建你建议的间接层,并随意移动东西。我知道至少 JVM 是这样做的。要搜索的术语是“堆压缩”。还有 Emery Berger 等人用他们的“Mesh” malloc 实现所做的奇怪而奇妙的工作,这让我大开眼界:[VIDEO]。 — samwho, 2023-05
Emery Berger 在 StrangeLoop'19 上的“性能很重要”是一个很棒的演讲——[LINK] 此外,他的其他演讲也很有趣:- [VIDEO] - [LINK] — divan, 2019-12
根据关于 Mesh 的 cppcon 演讲 [1](一个为 C++ 程序实现压缩的分配器),开销也可能很大(在 firefox 上测得17%的开销,在 redis 上50%!)[1] [VIDEO] — atom3, 2021-11

相关视频