Go 中的词法扫描 - Rob Pike

Lexical Scanning in Go - Rob Pike

频道:GoogleFOSSSydney · 时长:51:17 · 发布:2011-08-30 · 播放:162231

在 YouTube 观看

简介

Rob Pike 展示了如何使用状态函数、goroutine 和 channel 构建 Go 的 text/template 词法分析器。该演讲于 2011 年在悉尼的 Google 技术用户组进行。

HN 为什么推荐

多年来,HN 一直将其作为编写词法分析器的优雅入门推荐,即使没有解析背景也容易理解。

它比听起来有趣得多,即使你对词法分析/解析了解不多,也很容易跟上。 — HN, 2014

C、C++、Rust、Go 与系统语言 · 编译器、解释器与程序分析

中文字幕节选

好的,我们现在开始录制。大家好,再次欢迎来到今晚的GTG, 八月的谷歌技术用户组活动,在悉尼。今晚Rob Pike和 我将做两场关于Go编程语言的演讲。我想 首先欢迎Rob来谈谈词法扫描 以及 Go。谢谢,我们准备好了吗Tim?好的。我来谈谈Go的 扫描。抱歉。感谢大家前来,当然这次 正在直播,之后应该可以在YouTube上看到。是的。我听说 好的。那么,有多少人熟悉Michael Jackson的工作?真的 相当多,几个,也许全部。好吧,如你们所知,Michael Jackson开发了 Jackson结构化编程,这是一个基于模型的用于解决 计算中结构不匹配问题的方法。这些问题经常出现,他确实 正确地指出,许多编程问题涉及将数据 从一种形式转换为另一种形式,试图连接它们,你会发现 两侧的控制流并不真正有效,所以你有块 输入,你想转换成行,你有部分行和部分块, 这一切都有点混乱,很多编程很难正确实现 当你必须处理这些事情时,几乎任何类型的数据处理 问题都至少带有这种味道。例子很明显:阻塞 解阻塞、数据包组装,甚至在一定程度上词法分析和语法分析。这些 这两部分特别困难,因为通常你有一些 两侧的缓冲,你有前瞻、状态,你有窥视 前瞻、回顾,而且你同时在两侧做这些,相当混乱。 实际上,我相信协程被发明出来是作为解决 这个特定问题的一种方式,甚至在Jackson指出这是一个 问题之前。所以协程是并发编程的起源, 然而它们被发明出来是为了这个非常简单的 分布式——抱歉,非分布式的数据管理问题,这 很有趣。当你使用协程模型时,你可以完全独立地编写 问题的两部分:块读取器和行处理器或其他什么, 它们根据需要切换控制权,程序可以变得相当 更好。我想看看这种方法在词法扫描器概念上的应用。 词法扫描器的背景是一个模板系统。 我做了一个文本模板系统,你可以把它看作HTML模板系统,但 它更通用一些。在Go库开发的早期, 说实话它并不是很好。当时我们觉得它很酷, 但我们错了。它相当不灵活且表达力差,人们 经常遇到问题。许多其他贡献者提出了其他模板方法, 可能更适合他们想做的事情。但对我来说最重要的是 代码非常脆弱,随着发展,我们开始想要 添加诸如数字常量和带引号的字符串之类的东西,整个代码 似乎不太接受它,很笨拙。所以前一段时间,今年早些时候, 我决定写一个新的,知道模板应该是什么样子, 但这次将它们构建为适当的词法分析-语法分析模板,这样我就可以 写出干净的好代码。今天我想展示的是词法分析器如何 在其中工作,这是你能谈论的最书呆子的事情,但我认为你会 发现结果实际上相当漂亮。所以我们有一个新的 模板系统。我不打算教你们这个模板系统,这超出了 本次演讲的范围,尽管它本身可能是一个好演讲。我只想指出 我们在词法分析模板时实际在寻找什么。所以我们有 这个任意文本和这些称为动作的东西,它们由成对的

HN 上的讨论

相关地,我喜欢 Rob Pike 关于 Go 中词法扫描的演讲(2011)。教育性和优雅的方法。[VIDEO] — hu3, 2024-11
Rob Pike 的《Go 中的词法扫描》[VIDEO] 我喜欢这个演讲的一切。它以简单优雅的方式带你从零开始构建一个词法分析器,通过非常有趣的协程使用。我也欣赏演讲中的幽默片段。 — grose, 2016-10
Rob Pike 做了一个非常好的演讲,题为“Go 中的词法扫描”[0],涵盖了 text/template 的词法分析是如何工作的。它比听起来有趣得多,即使你对词法分析/解析了解不多,也很容易理解。[0] [VIDEO] — TomNomNom, 2014-05
就个人而言,我偏爱编写自己的拉取解析器。这是一种拓展思维的练习。Go 的一个妙处在于,解析器可以返回消费下一个 token 的函数。Rob Pike 有一个很棒的视频讲了这一点:[VIDEO] — willvarfar, 2012-06
如果你喜欢状态机 + 解析部分,我也推荐 Rob Pike 做的较早的“Go 中的词法扫描”演讲:[VIDEO] 它是用 Go 写的,但你可以轻松地将大部分内容应用到其他语言中。我很高兴现代语言如 Rust、Zig 和 Go 原生支持 unicode/runes/graphemes。与 Java、.net、C++ 或脚本语言相比,很多问题都消失了。 — Xeoncross, 2025-06

相关视频