Kilim:Java 中快速、轻量、廉价的消息传递

Kilim: Fast, lightweight, cheap message passing in Java.

频道:Google TechTalks · 时长:45:10 · 发布:2008-06-12 · 播放:32841

在 YouTube 观看

简介

Kilim 作者在 Google Tech Talk 上的演讲,介绍这个用于轻量级 actor 风格消息传递的 Java 库。演讲主张消息传递可以取代共享内存并发,并声称在大量 actor 场景下性能可与 Erlang 竞争甚至更优。

HN 为什么推荐

在 HN 上被引用为 Java 能够实现快速、廉价的消息传递并发的证据,作为 Erlang 或 Scala actor 的替代方案。

Kilim 的作者做了一个很棒的 Google Talk — HN, 2009

函数式编程 · 软件性能与优化 · 分布式系统

中文字幕节选

这是我的朋友SAS,他将要给我们讲讲如何把消息传递 并发引入Java。如果你不关心Java,也从未遇到过 锁或线程方面的麻烦,也许你不是合适的听众。我想我已经 说过,呃,谢谢ano。嗯,呃,简单说一下,呃, 我要讲的一些技术,我相信同样 适用于其他带指针的命令式语言。所以虽然标题说是Java, 我开发的框架是针对Java的,但很多技术仍然更 具有普遍适用性。所以我和ano一起工作,很长一段时间 在工业界,呃,开发高性能、呃,高性能事务框架, 我们做的最后一件事是一起编写WebLogic应用服务器。 在我们开发的所有软件中,我们都遇到了并发 问题,无论是设备驱动程序还是你知道的,呃,中间件,都会遇到,呃, 并发问题。有一堆,嗯,问题是我想要 解决的,我一次又一次地遇到这些问题。所以作为背景,呃,我们都 知道,处理正变得越来越分布式,每台机器多个核心, 每台机器多个CPU,多台机器,多个数据中心。所以程序员不仅 要担心,呃,微观尺度上的分布,还有宏观尺度上的 分布。一切都是分布式的,呃,有一个特点 并发解决方案并没有真正处理,那就是隔离性,意思是它们 处理了,但没有给予足够的重视,而且往往你会 遇到这样的问题:你需要某些东西在隔离状态下测试和运行,如果 你有一个基于锁的系统,或者基于共享内存的系统,它真的不是 隔离的,无法在隔离状态下测试。所以对我来说,这是一个首要特征。 当前并发解决方案的问题是如何在保证安全的同时 获得速度。作为程序员,你必须担心内存模型和一致性,以及 双重检查锁定等各种事情,哪里用volatile,哪里不用 volatile之类的。当然,共享内存并发的问题 是众所周知的,其中重要的一点是,呃,纳入外部 操作。所以大多数情况下,当你查看并发解决方案时,所有 你会看到的例子,呃,都与操作数据结构有关,放一个 同步块,或者如何处理你知道的多生产者消费者,或者红黑 树之类的,如果你看例子的话。但一旦你加入IO操作, 一切都变了,因为理解是你不应该拿一个锁然后 等待文件IO完成。一旦你有外部操作, 解决方案就非常不同,这就是所有bug的来源。很容易 把数据结构操作做对,但一旦你必须交错各种 外部操作,你就会出错。这就是因为 你增加了你原本认为是原子的东西,你必须把它分解成 几个子任务,呃,涉及IO交错,而这种交错本质上 给你带来了各种问题,关于你原本打算的原子性, 整个,呃,任务你原本打算的,呃。最后一种背景 是,嗯,我把服务器应用程序看作分阶段的数据流网络, 这整个分阶段数据流的东西在其他领域也大规模回归, 如果你看,呃,呃,图形学,使用图形卡进行令人尴尬的并行 计算,嗯,你知道,这个梗有点回归了。所以有很多 因素促使我选择Kilim和消息传递, 作为比使用共享内存更基础的构造。所以我现在 倾向于到处看到消息传递,这并不新鲜,我的意思是,自从Tony H

HN 上的讨论

“异步消息传递是古老而伟大的想法。我们不是同步对象并处理死锁,而是尝试隔离对象并让它们交换消息。Erlang 证明了它是极其强大的工具,适用于广泛的高度可扩展的关键任务应用。在 JVM 领域,对这种方法的巨大兴趣始于引入 Scala actor。” 这种说法非常缺乏信息!JMS(“惊喜”?)一直是“JVM 领域”对“异步消息传递”的“兴趣”的标志。我不太了解 Scala,但作者未能传达(基于我所知道的;)足以让他的尝试有分量的能力水平(更不用说支持)这个话题。对于那些对其他 JVM 替代方案感兴趣的人,Kilim 似乎很有前途,并且在针对 Erlang 的基准测试中似乎表现得相当不错。[LINK] [VIDEO] [LINK] [滚动到末尾查看 Kilim 的令人印象深刻的结果。] [LINK] [编辑:添加了 pdf 链接] — lucifer, 2010-02
Actor 与其执行方式解耦。Scala 有一个很好的系统,你可以在一个线程池中运行数千个基于事件的 actor。它会根据需要增长池(当线程阻塞时)。参见 [LINK] 虽然它可能使用线程,但 Scala 的 actor 系统实际上允许你创建数千个 actor。Kilim 实际上是一个纯(取决于你是否将字节码处理系统视为纯)Java 系统,它做同样的事情(据我所知):[LINK] Kilim 的作者做了一个不错的 Google Talk:[VIDEO] 编辑:修正了一些语法并添加了视频链接。 — wynand, 2009-10
Erlang 首先是一个 CSP 系统,而不是 actor 系统。[JVM 上的 CSP 风格并发]:[VIDEO](值得一提的是,Kilim 在基准测试中比 Erlang/OTP 扩展性更好。)[LINK](置顶评论中的论文值得一读。)免责声明:我认为 Erlang/OTP 很棒。但 JVM 也有它的高光时刻,而且公平地说,它赢得了“最先进虚拟机”的称号。 — eternalban, 2012-04
速度:为 Java 辩护,如果做得好,它非常快。参见 Kilim[1] 的例子。支持:除了速度,Java 还有一个受支持的硬件栈(Solaris)。因此,如果处理 100K 连接对你很重要,你可以找到能够在整个栈上诊断难题的工程师。-------------- [1] [VIDEO] 在 23:23 处。Java 没有 Kilim 也很快,这只是一个带有统计数据的例子。 — tezza, 2009-06

相关视频