构建你自己的异步
Build Your Own Async
频道:David Beazley · 时长:2:12:41 · 发布:2019-10-17 · 播放:59946
简介
David Beazley 的研讨会录屏从零开始构建 Python 异步编程,从回调和延续开始,并替换线程,以展示并发在底层是如何工作的。
HN 为什么推荐
HN 用户推荐它作为理解异步机制在底层实际运作方式的最佳途径。
深入理解异步的绝佳资源 — HN, 2020
Python、Ruby 与脚本语言 · 软件实践、开源与职业
中文字幕节选
这是 David Beasley,你即将观看的 screencast 来自一个工作坊, 最初于 2009 年 10 月在 PyCon India 大会上展示。原始的 工作坊存在一些视听技术问题,实际上让录制变得有点 非常困难,我的意思是,有很多失真和杂音以及其他 问题,导致最终的成果并不是一个很好的、适合 日后观看的产物。所以我决定重新录制这个讲座, 做一些现场编码,在这里覆盖同样的内容,希望能 把它清理一下,让它更容易观看。这就是 你将要看到的内容。先讲一点背景,这个 工作坊的目标是理解这些异步框架内部的运作方式和 设计思路,比如 async IO、curio、trio 之类的东西,但 它非常侧重于底层的编程模型, 而不是很多关于 IO 库之类的技术细节, 所以真正的目标就是探索基本的 编程模型,同时也了解一下为什么这些库 往往看起来有点复杂。如果你曾经看过 像 async IO 这样的源码,进去看会让人非常望而生畏, 所以我们要试着把它稍微梳理一下。现在, 作为开始,我想先谈谈这些库所解决的 根本问题,基本上这个根本问题就是 并发的问题,本质上就是如何实现并发。所以 首先,让我在这里写几个函数,我们 会用几个函数来演示。假设你有一个函数 count down,就是打印出一些数字,我让它稍微 sleep 一下, 这样运行得慢一点。假设你有这样一个 countdown 函数,然后假设你有一个 count up 函数,做 类似的事情,因为 while x 小于 stop,x 加加, time.sleep(1),x 加 1。好,假设你有这么几个函数, 大多数程序员熟悉的编程模型基本上就是 顺序执行,本质上就是你执行一个 函数,然后再执行下一个函数。所以如果你这样 组织代码,好,你有两个函数,一个接一个地 调用它们,你会看到它们一次只运行一个。我们试试 在另一个窗口里运行。好,如果我运行 python example.py,你会 看到 down 函数先运行,它会一直运行到完成, 然后你会看到 up 函数在之后运行。好,这就是 大多数程序员熟悉的编程模型,基本上 所有 Python 代码都是这样执行的。现在的问题是,你 经常需要编写同时做多件事的程序, 经典的例子就是网络服务器。比如我在写一个 网络服务,需要管理多个同时连接到该服务的 客户端,我不能让软件 只跟一个客户端通信,一直做到那个客户端结束, 然后再切换到下一个客户端。我必须能够做到 同时做不止一件事。所以这基本上就是问题所在, 如何实现并发执行,让你可以同时运行那两个 函数。一个经典的解决方案,好吧,也许最简单 也最常见的解决方案就是使用线程编程, Python 确实有一个 threading 模块,可以用来启动线程, 基本上看起来就是,我们说,好,让我们 启动一个线程,target 是 count down,args 是 5,然后
HN 上的讨论
是的,差不多是这样。比如 David 的“Build Your Own Async” [1],我更喜欢它,胜过 Philip 的(仍然非常出色)“What the heck is the event loop anyway?” [2]。告诉别人某件事如何工作是一回事,但成功展示它底层到底在做什么,能传达的信息要多得多。[1] [VIDEO] [2] [LINK] — devxpy, 2020-05
我发现这个[1]关于 Python 异步底层原理的 screencast 是深入理解异步的绝佳资源。[1] [VIDEO] — migueloller, 2020-05
> 我把生成器说得好像它们就是 Python 的协程系统,但实际上它们只是两种之一:Python 还有一种完全不同的东西,它实际上使用了“协程”这个名字,其中函数定义以 async def 开头,用 await 挂起。Python 中的 async 和 await 协程系统实际上是建立在 yield 系统之上的,通过一个名为 yield from 的中间构造——这在技术上甚至不是必需的,只是如果正确实现的话,把它作为一个循环在子协程之间传递值来实现是极其繁琐的[1],而且无法抽象为函数调用。作为初步近似,Python 中的 await x 等价于 yield from x.__await__()。可以说,它本应完全等价,但历史阻碍了这一点。David Beazley 有一个演讲[2],他带你实现一个异步运行时(说得夸张点),你可以看到整个东西是如何组合在一起的。它其实非常简单,根据我的经… — mananaysiempre, 2023-09
我强烈推荐 Victor Skvortsov 详尽无遗的 12 部分系列“Python Behind the Scenes”,它深入探讨了几乎所有人们可能视为理所当然的 Python 语言特性的实现细节。没有哪一篇我没学到东西,但我个人最喜欢的包括:* 第 2 部分,CPython 编译器如何工作:[LINK] * 第 6 部分,Python 的对象系统如何工作:[LINK] * 第 10 部分,Python 字典如何工作:[LINK] * 第 13 部分:GIL 及其对 Python 多线程的影响:[LINK] 整个系列可以在这里找到:[LINK] 如果想看稍微高层一点(即没有可怕的底层 C 代码),但仍然极具启发性地深入 Python 的“黑暗面”,特别是操纵控制流的各种滥用和咒语,可以看看 David Beazley 的各种主题演讲,如“Generators: The Final … — neoncontrails, 2022-03
相关视频
- Jake Archibald 谈 Web 浏览器事件循环、setTimeout、微任务、requestAnimationFrame…… · JSConf · 35:12
- 但什么是傅里叶变换?视觉介绍。 · 3Blue1Brown · 19:41
- 事件循环到底是什么?| Philip Roberts | JSConf EU · JSConf · 26:52
- 理解 Python GIL · David Beazley · 46:09
- Ruby Conf 12 - Y Not- 函数式编程历险记 by Jim Weirich · Confreaks · 53:21
- 神经网络和反向传播的详细入门:构建micrograd · Andrej Karpathy · 2:25:52
- Python如何被泄漏的内部机制塑造,Armin Ronacher,Flask框架 · Видео с мероприятий {speach! · 49:55
- RailsConf 2014 - Sandi Metz 谈所有的小细节 · Confreaks · 38:47
- 🚀 TDD,哪里出错了(Ian Cooper) · DevTernity Conference · 1:03:55
- 如何设计好的 API 以及为什么它很重要 · Google TechTalks · 1:00:19
- 时间与时区的问题 - Computerphile · Computerphile · 10:12
- Bret Victor:编程的未来 · Joey Reid · 32:55
- RailsConf 2016 - Turbolinks 5:难以置信它不是原生的! by Sam Stephenson · Confreaks · 37:37
- “Uncle” Bob Martin - “编程的未来” · Paul Stringer's Mobile Tech · 1:18:21
- Brian Goetz - 管理:令人清醒的部分 · ClojureTV · 1:03:30
- Ruby Midwest 2011 - 主题演讲:迷失的架构岁月 by Robert Martin · Confreaks · 1:06:38