用户级线程....... 与线程。 - Paul Turner - Google
User-level threads....... with threads. - Paul Turner - Google
频道:Linux Plumbers Conference · 时长:33:59 · 发布:2013-10-15 · 播放:40985
简介
Google 的 Paul Turner 介绍了用于真实线程用户级调度的内核接口,旨在为 C++、Java、Go 和 Python 提供统一的同步编程模型。它介绍了 Google 纤程背后的 switchto 风格系统调用。
HN 为什么推荐
HN 引用它作为协作式、用户调度的内核线程的关键解释,以及后来异步和协程辩论背后的先前技术。
Paul Turner 在今年的 Linux Plumbers Conference 上解释得非常好。整个演讲非常精彩 — HN, 2013
中文字幕节选
好的,抱歉,嗯,好,我叫Paul,我在Google工作,我在Google工作 我从事CBU调度相关的工作,我要讲一些我们一直在研究的工作 关于线程和编程模型,嗯,总的来说 所以显然这个话题有点争议,我先讲一些 背景,呃,当我们说线程模型时,多年来你见过的 传统线程模型大概有三种,第一种是一对一,每个 用户线程都有一个对应的内核栈,嗯,这实际上目前 几乎无处不在,大家都在这么做,Linux是这么做的,BSD 也是,Solaris以前也是,Windows也是,嗯,但还有 其他方式,呃,之前我们看到过N对1和M对N,呃,第二种是 第一种的变体,第一种的意思是,你有多个用户级 栈,它们被多路复用到同一个内核栈上,想法是你可以执行 用户级切换而无需与内核交互,这可行,但如果那个线程 在内核栈上阻塞,所有那些用户上下文都被绑定到它上面,所以M对N 是一种变体,它试图实现,试图引入多个 内核上下文,这样你就可以并行执行,嗯,这最初很流行 用于计算驱动的工作负载,当时他们认为上下文切换时间 非常昂贵,所以他们在用户空间 crunch 和计算上花的时间越多 越好,嗯,随着我们转向更多IO驱动的工作负载,这时 你看到一对一线程模型变得更加普遍,呃,只是因为 很难协调那些底层的核心上下文交换,在一对一和 端到端方法中,所以好吧,我们先放一边,说说我们实际谈论的 当人们想写并行代码时,两个非常流行的模型是 要么你做一个同步模型,为每个进来的请求使用一个线程 要么你做类似委托事件的事情,你有异步工作对象 它们实际上比线程更小,嗯,还有消息传递事件循环 但实际上这些通常最终是第二种的实现,呃, 当我说异步和同步回调时,我指的是字面上的任何同步 回调都是一个工作对象,你派发一些执行片段,呃,这 通常由线程池处理,它拾取这些异步回调或 你有一个同步回调,它看起来就像一个方法调用,嗯 存在一些复杂性差异,呃,所以我打算先说明一下 我们有兴趣引入一种更同步的编程模型,呃, 这由于我们将讨论的一些原因而变得棘手,但部分动机 在于异步模型带来的复杂性,嗯,而 异步模型产生的复杂性在于,当你传递一个异步回调时, 你传递的是对象的一个视图,你传递的是视图而不是所有权,所以在 这个Tri示例中,我在X上调用函数f,或者在 第二种情况下在X上调用回调,我必须担心X的生命周期,我必须担心 X的内存可见性同步,我必须担心当foo 完成时会发生什么,下一步执行是什么,所以这就是为什么在5秒内我们感兴趣的是 从用户角度看一种更同步的编程模型,嗯,所以 回到我们刚才所在的地方,嗯,回调实际上并不是一种编程 模型,对吧,挑战在于,虽然线程是编写应用程序时的 基本并发单元,如果你在写服务器,它们 并不是并发的流通单位,可以这么说,对吧,你实际拥有的是 请求,你必须将请求映射到线程上,所以这就是 两种编程模型出现的地方,第一种是每请求一线程,这
HN 上的讨论
Paul Turner 在今年的 Linux Plumbers Conference 上解释得非常好。整个演讲都很棒,但特别是对 pron 所描述的内容(以及如何改进)的解释大约从 8:39 开始:[VIDEO] — russell_h, 2013-12
Google 需要行动起来,开源 Fibers(不要与 Google Fiber 混淆)。当我在 Google 时,Fibers 给我带来了很多快乐。在我看来,这只是一种更体面的线程处理方式。这是演讲,不幸的是,它没有展示我所谈论的高级 API:[VIDEO] 。如果这个今天发布,每个人都会拍额头说“当然应该这样做”。Google 的人已经通过在内核最近版本中添加用户空间切换来消除了这个方向的障碍。现在就走到底,释放海妖。我看到的最后更新是今年六月的这篇文章:[LINK] 想象一下,对于 C++ 标准委员会的所有 Google 人员来说,致力于这些远不及他们内部使用多年的东西,却不能详细谈论它,那该有多痛苦。 — m0zg, 2021-11
请允许我第三个赞同。假设你 15-20 年前在大学学到的东西仍然适用,这是危险之一。另一个有趣的演讲:[0](甚至那已经是 5 年前的了)[0] [VIDEO] — lomnakkus, 2018-03
与这个讨论相关,这个关于用户调度的操作系统线程的演讲真的很有趣。遗憾的是还没有出现任何提议的实现或实验性补丁 [VIDEO] — asb, 2016-12
哦,好吧,我肯定可以写得更好。据我所知,M:N 线程已被 Linux 彻底放弃,但鉴于 Linux 内核线程可怕的 I/O 扩展性,可能值得重新审视。我想象以协作方式调度用户线程会大大简化事情。谷歌有一个关于协作原生线程调度的非常有趣的演讲,但他们还没有将代码上游化:[VIDEO] 以下是 Linux 开发者实际在做的事情(令人失望,大约只有硬件能力的 50%):[LINK] 与此同时,真正需要性能的人(HPC 甚至一些企业服务器)不得不完全绕过内核。看起来即使在虚拟化环境中,由于硬件支持,这也将成为可能:[LINK] — acconsta, 2015-09
相关视频
- Bob Beck 谈 LibreSSL · Jason Tubnor · 1:05:45
- Wayland 和 X 背后的真实故事 - Daniel Stone (linux.conf.au 2013) · Mladen Mijatov · 45:35
- systemd 的悲剧 · linux.conf.au · 47:18
- 三千万行代码问题 · Molly Rocket · 1:48:55
- VCF East: Ken Thompson 接受 Brian Kernighan 采访 · Vintage Computer Federation · 1:03:51
- LISA11 - Fork Yeah! illumos 的崛起与发展 · USENIX · 1:04:03
- 技术演讲:Linus Torvalds 谈 git · Google · 1:10:15
- USENIX ATC '21/OSDI '21联合主题演讲——操作系统是时候重新发现硬件了 · USENIX · 1:06:19
- AT&T 档案:UNIX 操作系统 · AT&T Tech Channel · 27:27
- DebConf 14:与 Linus Torvalds 的问答 · Adnan Hodzic · 1:11:43
- Unix 与 Google · FOAM · 7:15
- 从 Gtk 到 Qt - 一段奇怪的旅程 [linux.conf.au 2014] · Konstantin Bläsi · 46:05
- Bryan Cantrill 谈 Jails 和 Solaris Zones · PapersWeLove · 1:45:46
- 从零开始构建容器 • Liz Rice • GOTO 2018 · GOTO Conferences · 42:53
- 将1930年的电传打字机用作Linux终端 · CuriousMarc · 16:33
- Joyent的Bryan Cantrill谈Manta:面向互联网的对象存储设施,集成了计算能力 · AI Council · 1:31:05