Halide 演讲

Halide Talk

频道:Andrew Adams · 时长:25:51 · 发布:2014-04-24 · 播放:52989

在 YouTube 观看

简介

Halide 开发者 Andrew Adams 介绍了用于图像处理和张量计算的 Halide 语言。演讲通过示例解释了算法与调度的分离,以及并行性、局部性和冗余权衡。

HN 为什么推荐

推荐为对 Halide 思想及性能调度最清晰的解释。

理解它的最佳方式可能是观看视频,视频相对较长但解释得很清楚 — HN, 2014

软件性能与优化 · 编译器、解释器与程序分析 · 计算机图形与渲染

中文字幕节选

嗨,我是Andrew Adams,这个视频是关于Halide的, 一种新的语言和编译器,它使得编写 跨平台的高效图像处理管道变得容易得多。 我们感兴趣的是你在相机中发现的管道, 以及像Adobe Lightroom和Instagram这样的PC和移动应用。 Halide的核心理念是将 管道中算法的定义 与优化的关注点分离,比如SIMD向量化 分块或并行化。 这使得算法更简单、更模块化、更可移植。 程序员仍然负责选择应用哪些优化, 但定义和探索优化要比在像C或CUDA这样的语言中容易得多。 它们被非常简洁地定义, 独立于算法,最重要的是, 改变优化保证不会改变结果。 首先让我们看看为什么现有语言 不足以进行快速图像处理。如果我们想做一个简单的 3x3盒式滤波器,我们可能会写这样的C++代码 我们将滤波器分解为水平模糊 它读取并平均输入中的三个点 然后是一个垂直模糊,它读取并平均来自 我们存储在临时图像中的中间结果的三个点。这段代码在 我基准测试的四核x86上每百万像素大约需要10毫秒。 但在这台机器上优化的实现要快10倍以上 代码极其复杂;我们只是想平均三个 乘三个像素,但11倍的加速太重要了,不能忽视 那么为什么这段代码快?我们转换了管道以优化 并行性和局部性。并行性 来自于将工作分配到线程,这就是 顶部的pragma omp parallel for所做的,也来自于在每个核心的SSE单元上以8宽SIMD块进行计算。 然而,暴露并行性只是故事的一半。 同样重要,而且通常更难 思考和表达的是局部性。例如, 确保一个阶段产生的像素在下一个阶段读取时仍在缓存中。 没有局部性优化, 即使是一个并行化很好的管道也可能受限于可用的 内存带宽。所以这里优化的代码通过分块计算每个阶段来提高局部性, 交错跨阶段的瓦片计算 所以我们只计算x方向模糊的一个瓦片,然后一个瓦片 的y方向模糊,然后我们回去计算下一个x方向模糊的瓦片 所以这希望保持所有 中间数据在小型缓冲区中,永远不会离开缓存 但它使代码复杂化,因为它交错 了每个阶段的计算。所以管道的执行看起来像这样 输入图像在顶部,向下流过blurx 和blury阶段。早期阶段在更大的缓冲区上评估 因为我们计算的滤波器有足迹,所以我们需要更多的输入 比输出多。在blur y中的每个点,输出阶段 依赖于blur x中的三个像素,这又依赖于输入中的九个像素。 我们首先看到的未优化版本 计算第一阶段中的每个像素,将它们写入内存, 然后计算下一个阶段,必须慢慢读回它们。 优化版本则交错阶段。 要计算blur y的一块,我们首先需要相应的blur x块, 这加载输入的一块。blur x阶段 过滤该输入,然后blur y立即消费它 来计算输出的一块。接下来我们丢弃那个 中间数据,那个blur x块,加载下一个输入块, 计算下一个blur x块, 紧接着是下一个blur y块。

HN 上的讨论

这就是我想表达的意思——使用列向量能带来良好的缓存局部性,并让你可以对每一列使用 SIMD 来做“把这些全都乘以这个标量”,然后对结果行做“把这些全都求和”。我想这也能让你以最小开销把乘法优化成位移之类的操作,不过我不知道实践中是否这么做。也许只是勉强相关,但我觉得这个关于 Halide 的演讲[0] 真的很好地说明了这些一般概念。正如其他人提到的,对某些操作来说,它还能让你避免加载与你的变换无关的整列数据。相邻评论里提到的压缩点也肯定相关,尤其是在序列化方面。使用列向量的理由有很多。这里用“列主序”可能是术语滥用;抱歉造成困惑。[0] [VIDEO] — T-R, 2021-05
[VIDEO] 这是创作者的一个相关视频。里面有一些有趣的插图,有助于理解正在发生的事情。/编辑 - 错字 — all2, 2018-12
请看看 [LINK],尤其是 [VIDEO],它们似乎在你正在探索的领域开辟了新天地 编辑:如果你知道任何其他采用类似方法的团队/个人,也请介绍给我,无论如何,手写汇编与编译代码之间的较量似乎进入了一场新的小冲突,在这个时代,从通用 CPU 到 ASIC 的整个谱系都对程序员开放,并行性、局部性和冗余的瓶颈似乎是指路明灯 手写方面,我们可能将由宏伟的 [LINK] 引领 由 Halide 之类生成的编译器,一旦我们让事情运转起来,并且有更多公开知识可用,主要超级计算机的那些封闭技术可能就会开始浮现(我只是假设超级计算机领域的人在过去几十年里一直在处理这些东西) 我能再多说几句吗,亲爱的 Hacker News?专注,你必须专注,忘掉编译器生成好代码这件事,关键在于我们人类探索这个领域的能力 即使在 Halide 中,他们也提到你仍然需要坐下来编写不同的方法,但他们的工具让探索这些不同方法… — whos3424, 2018-05
一个非常好的视频,包含这类线性代数算法的各种调度方法的动画:[VIDEO] — tehsauce, 2018-05
你可以在首页的模糊示例中看到一点:模糊算法用两行描述,优化在下面的“调度”中单独描述。在这种情况下,调度指定中间结果应以特定大小的瓦片计算,整个东西既向量化又并行化。理解它的最佳方式可能是观看视频,视频相对较长但解释得很清楚:[VIDEO] — modeless, 2014-04

相关视频