让 R 运行得快 - Jan Vitek
Making R run Fast - Jan Vitek
频道:John O'Neill · 时长:1:21:38 · 发布:2016-03-02 · 播放:870
简介
东北大学的 Jan Vitek 在 meetup 上发表了关于让 R 语言运行得快的挑战的演讲。他解释了 R 的语义中哪些部分使其难以优化和构建 JIT 编译器。
HN 为什么推荐
HN 指出这是解释为什么 R 如此难以优化的最佳资料,常与关于 Python 的演讲配对,并用来解释是什么让 Julia 快。
另一个关于优化 R 困难的精彩演讲是 Jan Vitek 的这个 — HN, 2017
软件性能与优化 · 编译器、解释器与程序分析 · 数据科学与统计
中文字幕节选
感谢 uh vipa 和 IBM 今晚为我们提供场地 uh 我们有一场精彩的演出 uh 来自东北大学的 y VCH 将向我们讲述他在 让我们的程序运行得更好,我想是 llvm,但也许更通用一些,所以 Yan 在波士顿其实相当新,才一年左右,他来自普渡大学 uh 他的 专长我猜是编译器,他更像是一位计算机科学家而不是 uh 统计学家,但他的妻子我想是统计学家,所以 um 让我们看看,所以我认为 你在 sick plan 的董事会或类似的地方,所以 uh Kurt 有 uh 所以简单说一下,下个月或者实际上大约两周后我们 还有另一个,两周后我们有 Max um 他要来,他会讲 uh quintland cubus 包基于规则的决策树 um 我以前看过,是个好演讲 然后我们得想想接下来做什么,所以如果你想谈谈你知道 你对接下来想看到什么有一些想法,请在演讲后留下来 我们可以讨论,如果你有好主意或者你知道有人 你想看到,我们可以尝试安排 uh 所以就这样,作为指示 uh 让我们 看看,所以 uh 洗手间在外面右转 uh 我想还有太多其他 后勤事项,所以我会把时间交给 Yan,你好 很高兴来到这里,正如提到的,我是一名计算机 科学家,通过婚姻间接成为统计学家 uh 有人告诉我必须对 R 做好事,否则就 dot dot dot 所以 um 这就是我试图做的,所以这次演讲 um 这是从计算机 科学的角度,不太确定听众的背景,所以我 会让你们告诉我,请随时打断我,我 准备了一些材料,但我很乐意朝任何对你们有意义的方向 偏离,好的,另外我想提前说的是 这是进行中的工作,所以 R 还没有运行得那么 快,但你知道我们正在努力,所以有些部分 uh 也是关于你知道挑战是什么,你知道这要往哪里去 前景如何,但不一定是我们已经有了很好的结果 好的,um 是的,所以请随时打断 所以之前 uh 进一步之前,第一个问题是 R 实际上慢吗,这是个合理的问题,可以问,所以 我们做了一些测量 uh 它们不是很广泛,但 让我展示给你们看,所以这些结果是我们 从叫做计算机语言基准测试游戏的东西中取了 12 个程序 这是一个网站,有各种你知道简单问题,好处是 这些问题几乎用所有可能的语言 编写过,我们可以轻松比较不同语言,这是 科学研究吗,不是,但它确实提供了一个数据点,所以我在这里展示的数据 是比较其中 12 个程序,我们所做的是 将这些程序的运行时间归一化到 C 版本的 运行时间,所以 1 是 C 的运行时间,然后我们比较 Python 和 R 的运行时间,所以 Python 是蓝色,R 是红色 刻度是对数刻度,好的,这就是设置, 那么我们能看出什么,我们可以看出 Python uh 这有点,我认为 平均大约比 C 慢 50 倍,对于这组 程序 uh 为什么 Python 比 C 慢 50 倍,因为 Python 是解释型
HN 上的讨论
我推荐看这个视频——让R跑得快 [VIDEO] 有点令人失望,因为结论是R可能永远不会“跑得快”,但非常有趣。 — lottin, 2018-10
也许理解 Julia 为什么快的最好方法是观看这两个关于 Python 和 R 以及为什么它们如此难以优化的视频:[LINK] [VIDEO] 把这两个视频中提到的所有让 Python 和 R 难以优化的东西都拿过来,然后不要做那些事情 :D — StefanKarpinski, 2018-06
另一个关于优化R困难的演讲是Jan Vitek的这个精彩演讲:[VIDEO] 另外,我最喜欢的R技巧:foo <- function() {rm(foo, envir=environment(foo))} — simonbyrne, 2017-07
这忽略了所述生态系统的发展。关键是Python对这种生态系统的发展相当抑制。有许多自动微分库的尸体(从autograd和tangent开始,然后到theano,最后到tensorflow和pytorch),以及许多JIT编译器和加速器的尸体(Cython、Numba、pypy,以及TensorFlow XLA,现在是PyTorch v2的JIT等)。过去十年发现,很大一部分原因是语言的设计。例如,Jan Vitek有一个很棒的演讲,描述了由于语言中的某些设计选择,为R编写JIT编译器有多么困难([LINK],或更详细的版本[VIDEO])。某些语言结构会使许多优化失效,然后必须绕过它们,这就是为什么Python JIT选择语言的子集,以避免那些不易优化或无法优化的特定部分。这就是为什么每个都采用领域特定的子集,numba与jax等采用不同的语言子集,以选择适合ML与更通用代码的东西。有了… — ChrisRackauckas, 2023-02
相关视频
- Python如何被泄漏的内部机制塑造,Armin Ronacher,Flask框架 · Видео с мероприятий {speach! · 49:55
- 多重分派的非理性有效性 | Stefan Karpinski | JuliaCon 2019 · The Julia Programming Language · 35:24
- Julia 中的共享内存并行 | Kiran Pamnany | 剑桥 Julia 聚会(2018 年 5 月) · The Julia Programming Language · 26:33
- Matplotlib 更好的默认颜色映射 | SciPy 2015 | Nathaniel Smith 和 Stéfan van der Walt · Enthought · 19:08
- Rich Harris - 重新思考响应式 · You Gotta Love Frontend · 36:45
- CppCon 2015:Andrei Alexandrescu “std::allocator...” · CppCon · 1:12:27
- Go 中的词法扫描 - Rob Pike · GoogleFOSSSydney · 51:17
- William Byrd 谈“有史以来最美丽的程序” [PWL NYC] · PapersWeLove · 1:31:05
- 防止文明崩溃 / Jonathan Blow (Thekla, Inc) · DevGAMM · 1:02:41
- Emery Berger 的“性能至关重要” · Strange Loop Conference · 42:15
- 三千万行代码问题 · Molly Rocket · 1:48:55
- CppCon 2017: Matt Kulukundis “逐步设计一个快速、高效、缓存友好的哈希表” · CppCon · 59:33
- Erlang Factory 2014 - 那是带 'B' 的 'Billion':在 WhatsApp 扩展到下一个级别 · Erlang Solutions · 49:15
- 古惑狼如何黑掉原版PlayStation | 战争故事 | Ars Technica · Ars Technica · 31:37
- Gil Tene 的 "如何不测量延迟" · Strange Loop Conference · 42:59
- CppCon 2016: Jason Turner “为微型计算机编写丰富代码:用C++17实现一个简单的Commodore 64游戏” · CppCon · 1:19:52