Julia 中的共享内存并行 | Kiran Pamnany | 剑桥 Julia 聚会(2018 年 5 月)

Shared memory parallelism in Julia | Kiran Pamnany | Cambridge Julia Meetup (May 2018)

频道:The Julia Programming Language · 时长:26:33 · 发布:2018-05-17 · 播放:6792

在 YouTube 观看

简介

Kiran Pamnany 在剑桥 Julia 聚会上关于 Julia 共享内存并行及其新任务调度器的演讲。它认为 fork-join 和工作窃取模型嵌套性差,并提出了用于可组合并行的深度优先调度。

HN 为什么推荐

在 Julia 线程讨论中被推荐,作为对新任务调度器的深刻而简单的解释。

我发现他的演讲是对这项工作的深刻概述 — HN, 2018

Python、Ruby 与脚本语言 · 软件性能与优化 · 操作系统与内核

中文字幕节选

好的,大家能听到我说话吗?我想应该可以,好的,那么 共享内存并行ISM和Julia,如果几年前有人参加过Julia Khan 你可能已经看到过一些关于这个的讨论,我们已经研究了一段时间 我要开始,我的意思是这是一个非常基本的问题 但你知道问题确实会出现,为什么线程总是,为什么我们不能只用 进程和消息传递来做所有事情,这在过去是一个合理的问题 但现在已经不是了,因为人们可能听说过Knights处理器 在单个处理器上有时有超过200个线程可用,像这样的时候 你的内存贫乏核心减少到你不能真的不能做 任何有用的事情,用每个核心一个进程或一个硬件线程,所以你几乎 需要线程,这本质上是共享内存并行ISM,这给你 通常更快的性能,更少的通信需求,你减少了内存 你的应用程序所需的内存,但当然,正如我们经常知道的,共享内存并行 总是让你面临大量危险的编程错误,这 是做生意的一种代价,所以再次 早期的原则会根据这两个广泛的领域来划分并行化 根据这两个广泛的领域,还有许多其他分类方式 但本质上存在任务并行和数据并行,在任务 并行中,这可能是你在做的那种事情,比如Apache或 其他服务器应用程序,真的为程序中的不同功能单元使用线程, 这些功能单元可能作为流水线运行,或者它们可能有 重叠执行,但本质上不同的代码是不同的,这 如果你在处理器中增加几个核心,这不会自然扩展 要弄清楚如何处理额外的线程并不简单 而数据并行,当然对于任务并行,因为不同的代码 在运行,推理线程的交错要困难得多, 同步是任务并行正确性的真正挑战 程序另一方面,数据并行在许多方面要简单得多,它 基本上是将相同的操作应用于非常大的数据集,这就是 大多数高性能计算代码所做的,不仅在处理器内部,而且跨 多个处理器、多个节点,我们说的是真正庞大的数据集,比如 天气模型、粒子模拟之类的各种东西,这 稍微容易一些,正确性也没那么难,因为所有代码、所有 线程基本上运行的是相同的代码,而且数据在线程间的 划分通常相当规则,但也不总是 如此,大多数代码都是这样,所以本质上我们想要在 Julia 中获得各种并行 能力,但这些是大的类别,所以我们几年前 从 2015 到 2016 年开始为 Julia 添加线程 这真的很难,我们从最简单的 方法开始,就是一个并行循环,你可以做那边展示的事情, 正如它所说,我们很容易就获得了快速的加速,只需在 for 循环前加上 宏前缀 @threads,这在今天就能用,现在 它需要在幕后做大量工作才能让这个真正 正确工作,让代码生成器、垃圾收集器一切都线程安全,所以 我们已经达到了那个点,现在是时候超越基本模型,走向 Julia 中真正的 线程了,这个演讲本质上就是关于那会是什么样子 所以有了之前的,我应该重复一下,有了之前的线程 基础设施,那些实验性的东西,我们取得了许多成功,我们能够 展示各种非常有趣的东西,特别是这里的第二项

HN 上的讨论

这个版本最有趣的部分是新的多线程特性,我推荐阅读[LINK]以了解概述,并观看[VIDEO]以了解Julia多线程正在研究的一些独特内容(不过据我所知,深度优先调度不在1.3中)。 — falkaer, 2019-11
考虑一台有N个核心的机器运行一个程序,该程序生成N个并行任务,每个任务又生成N个并行任务。核心最初处理哪些子任务?如果是每个顶级任务的第一个子任务,那就是广度优先调度。如果是第一个顶级任务的所有N个子任务,那就是深度优先调度。后者更适合高性能计算,因为往往是底层库经过精心调整以最优利用机器(比如BLAS/FFT/并行求和/前缀和)。以前不知道如何高效地实现这种调度。更多细节见Kiran Pamnany的演讲:[VIDEO] — StefanKarpinski, 2019-07
这项工作是一项巨大的合作努力,我认为最终结果将非常壮观。几个月前,我在一次MIT Julia聚会上做了演讲,这个PR的作者也发言了;我发现他的演讲是对这项工作的深刻概述:[VIDEO] — jrevels, 2018-10
看看[VIDEO],它以简单的方式解释了任务调度器的新特性。基本上,Julia正在采用一种新的算法来调度任务,而传统方法会陷入停滞/阻塞。本质上,如果你运行一个带有并行任务的工作,其中一个线程完成了,调度空闲线程是极其困难的,因为数据可能仍被其他忙碌的线程使用;因此你需要一种聪明的方法来确定如何分配计算资源。Julia正在实现一篇关于如何最优地做到这一点的新论文的成果。 — boromi, 2018-10
Rust的Rayon库是否有演讲者描述的问题,即一旦外层循环并行化,并行的内层循环大多会串行执行?(我猜有,因为它的Cilk传统?)当这成为问题时,有解决方法吗?编辑:我的愚蠢错误。我当时在看顶楼评论中链接的视频([VIDEO]),然后回到这个帖子,以为它是主题。 — oconnor663, 2019-11

相关视频