将 Unix 哲学带入大数据 by Bryan Cantrill: FutureStack13

Bringing the Unix Philosophy to Big Data by Bryan Cantrill: FutureStack13

频道:New Relic · 时长:31:08 · 发布:2013-11-12 · 播放:17568

在 YouTube 观看

简介

Bryan Cantrill 介绍 Manta,一个具有原位计算的对象存储,允许像 grep、awk 和 sed 这样的工具在巨大数据上以 map-reduce 风格运行。他将其描述为将 Unix 哲学带入大数据。

HN 为什么推荐

HN 推荐它作为简单 Unix 工具取代重量级 Hadoop 式管道的优雅论据。

Bryan Cantrill 的演讲绝对值得你花时间 — HN, 2015

数据库与存储 · 操作系统与内核 · 数据科学与统计

中文字幕节选

非常感谢,呃,早上好,感谢大家能来到这里,呃,所以通常 在任何会议上,呃,我总是会从墓穴里挖出 历史,砸向所有人,呃,我有点,我有点喜欢这个角色,呃,你知道有些人 觉得这有点烦人,但我喜欢历史,呃,我有点 把它珍视为我自己的东西,在任何会议上,我都是那个 谈论历史的人,结果希拉里·梅森用19世纪的东西把我给比下去了,呃,所以我 完全没准备好,我觉得希拉里的演讲非常非常棒 显然如此,呃,所以我想我不再是那个历史达人了,因为,我是说这不是 19世纪,我们要谈论20世纪,呃,特别是 关于将Unix哲学带入大数据,呃,首先,大家知道Unix是什么 对吧,举手看看,Unix,这个词听起来耳熟,好,呃,所以,呃,Unix最初 出现,实际上最早开始编写是在1969年,呃,所以是40多年前了,嗯 40多年前,呃,然后开始在1970年代慢慢出现,Unix是 一个非常,呃,重要的发展,因为它不仅仅是一个新系统,而是 它实际上代表了一种思考系统和操作系统的新方式 在Unix之前,60年代的操作系统,可以说是操作系统的 原始时代,是这些大型控制程序,呃,你知道那种主 控制程序,你在《电子世界争霸战》里看到的那种模型,这个全知全能的 执行程序,呃,我喜欢他们称它们为执行程序,你知道 这是在我们试图弄清楚计算的隐喻是什么的时候 就像,也许它是你的老板,就像,对吧,呃,但我们有了这些 全知的控制程序,然后Multics出现了,Multics有一些非常 有趣的想法,特别是在Multics中引入了shell的概念,还有 一些其他非常重要的概念,但它仍然是这个非常庞大的封闭单体 然后Multics被从贝尔实验室拿走了,这是计算机历史上 发生过的最好的事情,贝尔实验室的GE 645被从他们那里拿走了 呃,他们不得不在一个小得多的计算机上发明自己的系统,在 在PDP-8上,呃,他们真的开始开发一个文件系统,肯·汤普森想要 开发一个文件系统,呃,这可能是测试驱动开发的 第一个行为,呃,他需要开发一些小程序来测试原始的文件 系统,所以LS、RM、cat、MV,这些实际上都是文件系统的测试,呃,事实上 我们可以单独使用它们,只是历史的产物,呃,他们 有这种极简主义的想法,呃,这些东西非常小,这种小 美学,事实上,你们可能知道,很多人可能知道,术语 Unix实际上是Unix的同音词,意思是阉割,呃,这 是一个被阉割的Multics,呃,正如丹尼斯·里奇所说,我们有点被大 系统心态压迫,我是说那是70年代,所以你知道这些家伙是嬉皮士,呃,所以 他们必须被压迫,我们有点被大系统心态压迫,肯 想做些简单的事情,呃,所以那就是,如果我们能看下一张幻灯片 抱歉,我的PDF不在这里,好了,呃,所以,呃,那就是,呃, Unix,呃,它最初被构想的样子,有点像文件系统的测试,他们 构建这些小命令,他们可以重定向命令,重定向

HN 上的讨论

这篇文章呼应了Bryan Cantrill两年前的一次演讲:[VIDEO] 内容是关于Joyent如何将UNIX管道的概念作为真正的强大工具,并在对象文件系统之上构建了分布式版本,用一些小的map/reduce语法糖将Hadoop作业替换为管道。Bryan Cantrill的演讲绝对值得你花时间,但你可以通过他们3分钟的 screencast 了解Manta:[LINK] — notpeter, 2015-01
这些观点很好,但从哲学角度讲,Unix之道,systemd还有一些不足之处。有没有现代Unix之道?我在这方面看不到太多探索,但我看到很多“从现在起就这样了”的说法。我不站任何一边,但我欣赏用简单小东西处理复杂性的方式。如此优雅地解决问题:[VIDEO] — erhardm, 2014-10
1.) 保持好奇。保持好奇。实验,尝试各种东西。你在大学期间的时间可能是最好的时机,以后工作后可能会更难,因为那时更强调完成的工作而不是学习经验。此外,我相当确定,如果你熟悉不同的思维方式(显然是编程语言、环境和范式,但这也可能适用于任何非技术领域),对你会有好处。我从与那些没有真正这样做的人打交道中获得了这种观点,但也从知道我个人也做得太晚(以及尽管如此它给我带来的好处)中获得了这种观点。如果你只熟悉 Windows,试试 Linux。试试 BSD。如果你想,试试 OS X。尝试在终端中工作。熟悉不同的编辑器(尤其是 Vim 和 Emacs,也许还有像 Kakoune 这样的新编辑器)。学习 bash,看看 AWK 和 sed。也许学习 Perl。尝试函数式编程、逻辑编程(如 Prolog)等等。如果你喜欢冒险,玩玩像 Haiku[1] 或 TempleOS[2] 这样的小众系统,只是… — btschaegg, 2022-01

相关视频