十年任务:将 std::atomic 引入 CUDA - Olivier Giroux - CppCon 2019

The One-Decade Task: Putting std::atomic in CUDA. - Olivier Giroux - CppCon 2019

频道:CppCon · 时长:1:05:38 · 发布:2019-09-28 · 播放:10899

在 YouTube 观看

简介

Olivier Giroux 在 CppCon 2019 的演讲回顾了将 std::atomic 和 C++ 内存模型引入 CUDA GPU 的约十年努力,通过十个故事讲述这项工作。

HN 为什么推荐

在讨论 NVIDIA 的 C++ 内存模型、libcu++ 和 GPU C++ 资源时被引用为参考。

C、C++、Rust、Go 与系统语言 · 计算机体系结构与CPU

中文字幕节选

下午好,欢迎。本次演讲讲述的是 将标准原子操作引入CUDA所经历的 艰巨工程。它耗时十年并非因为我们中途停下欣赏风景,而是因为 存在一条极其漫长的依赖链,必须每一步都恰到好处 才能实现。我叫Olivier Giroux,是一名GPU架构师, 已经做了很久,同时也是并发与 并行领域的主席。在这次演讲中,我有机会真正将 我的两份工作结合起来,全程同时讨论两者, 而不是像以往那样一部分讲GPU,另一部分 讲C++中的并发与并行。整个演讲只围绕这个主题。 好的,我是几个社区的成员。首先,我是NVIDIA的 工程师,在NVIDIA已经工作了17年,一直在架构 团队,过去10年一直在研究SM,所以 这意味着,你知道,Kepler、Maxwell、Pascal、Volta、Turing,下一代、下一代、下一代、下一代、下一代、下一代, 等等。我从1997年左右 开始使用C++。我是WG21的成员,是并发与 并行领域的主席,同时也是内存模型社区的成员, 这是一个相对较小的群体,不到一百位专家, 四处修复各种内存模型。好的,好的,那么这就是我们故事的 背景。我们的故事,你知道,1993年NVIDIA成立, 2007年NVIDIA发布了CUDA。CUDA C++, 你知道,CUDA从一开始就是C++产品。CUDA C++是C++产品, 就像Visual C++是C++产品一样,它有一堆扩展, 但它的基础通用语言是我们熟知且 喜爱的C++。好的,2011年C++获得了std::atomic, 而CUDA C++并没有同时获得std::atomic。 std::atomic在CUDA中大约在2019到2020年期间才出现, 这段时间就是本次演讲的主题。 好的,让我们从2011年开始, 顺便说一点小建议,这里的插播是:当我回想2011年, 我认为重要的是拥有副项目。你知道,我有我的主要 工作,然后人们也有副项目。好的,那么 故事从小处开始,是许多人参与的 不同副项目。其中一个副项目是对内存模型的一些澄清。我们的 内存模型被加入C++时,当时还有些模糊, 所以你知道,我们开始传播:如果我们澄清这个原子性 问题,如果我们澄清使用栅栏等进行同步的含义,会怎样?好的, 所以我们做了一些这方面的工作。有什么需要澄清的呢? 左边是SPARC V9手册的摘录,大致上他们整个 内存模型就在那段摘录里。Fermi编程指南,你知道,这 不是编程指南,不是这个引用,这不是我们放在网上的内容,这 是我们所拥有的,这就是我们拥有的全部。好的,它说规则引用 基于SPARC架构手册附录D中指定的SON内存模型。 好的,你的意思是存在差异?好的,但它们如何不同? 而且那段文本中有一些东西是隐含的。好的,所以我们不会 深入细节,但我只给你一个快速概览,如何阅读 这个。好的,这读作:操作X在依赖顺序上先于 操作Y,且X是加载,意味着X在内存中先于Y执行。这

HN 上的讨论

> 我真的希望每个人最终都承认“固定功能管线”已经死了 在“固定功能管线”(没人在用)和“始终全部计算”(实时图形中也几乎没人用)之间有很大的空间。> GPU 还没有一个定义良好的内存模型 Nvidia 有一个内存模型。(我从一位 Nvidia 员工那里听说,AMD 玩得更随意一些。)[VIDEO] > GPU 没有 MMU 的等价物——所以它们不能被分区或保护。等等。你不需要 MMU 来分区或保护。(不是说 GPU 安全不是一团糟。)> 问题在于切换到“计算”模型并使其良好运行会将 GPU 商品化——而这是 AMD 和 NVIDIA 最不想要的。[LINK] 看看 Nvidia 的收入来自哪里,再告诉我他们还没有到那一步。 — moonchild, 2022-10
当然,“CppCon 2016: “将 Clang 和 C++ 带到 GPU:一个开源、CUDA 兼容的 GPU C++ 编译器” [LINK] “CppCon 2019: Olivier Giroux “十年任务:将 std::atomic 引入 CUDA。”” [VIDEO] “Octane 渲染。GPU 渲染的未来:实时光线追踪”(使用 CUDA)[LINK] NVIDIA HPC SDK [LINK] — pjmlp, 2021-08
CppCon 2019: Olivier Giroux “十年任务:将 std::atomic 引入 CUDA。” [VIDEO] ISO 和 CUDA C++ 的未来 [LINK] Thrust,CUDA C++ 模板库 [LINK] Optix,使用 C++ 的单光线着色器编程模型,以及使用 RT Core 的光线追踪加速。[LINK] 呼,还有这么多包装器要列出来。 — pjmlp, 2021-04
这里有一个相关的 CppCon '19 演讲:“十年任务:将 std::atomic 引入 CUDA” [VIDEO] — davvid, 2020-09
现在,NVidia正在设计他们的GPGPU来运行C++代码。[LINK] [VIDEO] 英特尔上个月刚发布了oneAPI(又名Data Parallel C++),而Khronos正在推动SYCL作为CUDA C++的替代品。C++花了30年才达到这个阶段,在某些领域(如嵌入式),它仍在争取相关性。无论何时提倡Rust作为领域XYZ的替代品,都要记住这一点。 — pjmlp, 2019-12

相关视频