Tree-sitter:一种新的编程工具解析系统 - GitHub Universe 2017

Tree-sitter: a new parsing system for programming tools - GitHub Universe 2017

频道:GitHub · 时长:43:00 · 发布:2017-12-20 · 播放:23707

在 YouTube 观看

简介

GitHub的Max Brunsfeld介绍了Tree-sitter,一种支持增量、容错解析的编程工具解析系统。他演示了其集成到GitHub.com和Atom中用于语法高亮和代码导航。

HN 为什么推荐

被推荐为tree-sitter的权威介绍,以及为什么快速增量解析能实现实时编辑器支持。

有一个很长(42分钟)但值得一看的关于tree-sitter的演讲 — HN, 2022

编译器、解释器与程序分析 · 测试、调试与开发者工具

中文字幕节选

[音乐] [音乐] 好的,大家好,我叫Max,我在GitHub工作,负责Atom 文本编辑器。今天我要讲一个我一直在开发的软件, 已经快四年了,叫做tree sitter。我作为 副项目做了很长时间,现在我在GitHub的一些项目中 继续开发它。所以我会先解释它是什么,然后谈谈我试图 用它解决什么问题,接着展示一些我们 今天在GitHub用tree sitter构建的东西,最后我会深入一些 tree sitter使用的算法,我觉得这些算法很有趣。好,tree sitter是 一个用于解析代码的库,用C和C++编写,设计用于 像文本编辑器或github.com这样处理多种语言代码的 应用程序。所以它可以解析用各种不同编程语言编写的 文件,并生成具有相同格式的语法树。 但tree sitter真正独特的地方是所谓的 增量解析,这意味着一旦你用tree sitter解析了文件 并获得了该文件的语法树,你就可以编辑文件, 而tree sitter可以快速更新语法树以反映你所做的 更改,而无需重新解析整个文件。这就是它 能够在文本编辑器中使用tree sitter进行实时解析的原因, 在用户输入时进行解析。现在我来解释为什么我决定 创建这个新的解析系统。一句话的原因是, 我认为所有编程工具都应该理解人们的代码。我的意思是, 当我写代码时,我不想考虑 代码的文本表示,我想尽可能少地 考虑文件、行和字符这些东西,这样我就能 尽可能多地考虑逻辑上的东西,比如类、 函数和语句,因为这些是我解决问题和发挥创造力时 需要思考的术语。所以我希望使用的程序能尽可能 以这些术语向我展示代码。哦,方向错了, 这边。好,世界上有很多优秀的开发者工具, 可以进行非常有用的代码分析。对于任何特定的编程语言, 都有很棒的IDE、语言服务器和解析器, 可以很好地理解那一种语言。然而, 我认为我们作为程序员最依赖的许多工具 仍然只在非常粗糙的层面上理解代码。 让我举个例子。 帮助我们阅读代码的最大因素之一是语法高亮, 语法高亮是我们几乎每天都会接触到的东西, 无论是在GitHub上、Stack Overflow上阅读代码, 还是在我们的文本编辑器中,无论是Atom、Vim还是其他。 这里有一个你可能在这些地方看到的语法高亮示例。 这是一些Go代码,定义了person类型和两个方法: getName返回字符串,getMom返回person。 string和person都是类型,但出于某种原因, 它们在这里显示为两种不同的颜色,这算是语法 高亮的失败,因为我认为语法高亮的全部意义在于 按颜色分组,这样你一眼就能看出东西是什么。 这是Atom中的一个例子,你可以看到在Sublime Text和 Visual Studio Code中也会发生同样的事情,类似的情况也会发生在 你在GitHub或Stack Overflow或几乎任何地方查看代码时。

HN 上的讨论

他们使用 tree-sitter [LINK] 它对 AST 中的错误没问题,只是将这样的节点标记为无效。有一个很长(42 分钟)但值得一看的关于 tree-sitter 的演讲 [VIDEO] 或者更短的版本(20 分钟)[LINK] — ris58h, 2022-04
Tree-sitter 不仅仅用于代码折叠,它是一个完整的增量解析器,速度快到可以在每次击键时运行。查看他们的扩展选择示例,了解另一个非常有说服力的用例。如果你对更多细节感兴趣,还有 tree-sitter 背后开发者的这个演讲([VIDEO]),他展示了他们如何使用 tree-sitter 快速解析整个数兆字节的压缩 JS 文件,为它们提供完整的语法高亮,并在你编辑时更新,以及由于能够访问语言的完整指定语法,实际语法高亮的准确性和实用性如何比基于正则表达式的实现有所提高。我认为一旦 tree-sitter 稳定下来并且 API 开放,它也将成为扩展开发的游戏规则改变者。像 swackets 这样的扩展将不再有破坏用户体验的任意性能限制([LINK]),并且它为一系列全新的智能扩展打开了大门,这些扩展能够以更深的层次理解你编写的语言,这在以前由于解析性能而不可行,或者需要一些外部重量级语… — lewisl9029, 2018-03
`tree-sitter` 已经被发布到网站上很多次了,所以我从那些提交中记住了它:[LINK] 还有这些资源:[LINK] [VIDEO] — bhl, 2021-07
100% 同意。如果现在开始,我认为你应该考虑以 mlir[1] 为目标。它解决了你使用 llvm 时会遇到的许多问题,并允许你创建特定于语言的方言和转换。由 LLVM 创建者 Chris Lattner 领导的顶尖团队所做的令人印象深刻的新工作。它将 LLVM 作为可选目标,因此你可以免费获得。对于解析器,你应该考虑使用 tree-sitter[2]。Tree-sitter 免费为你提供实时编辑器支持。Max Brunsfeld 的令人印象深刻的工作。[1] [LINK] [2] [VIDEO] — imoldfella, 2019-04

相关视频