Lucene 索引里有什么?Adrien Grand,Elasticsearch 软件工程师
What is in a Lucene index? Adrien Grand, Software Engineer, Elasticsearch
频道:LuceneSolrRevolution · 时长:1:04:30 · 发布:2013-12-15 · 播放:80696
简介
Elasticsearch 工程师、Lucene 提交者 Adrien Grand 讲解 Lucene 索引内部的设计决策,以及它能解决和不能解决哪些问题。演讲深入探讨 Lucene 如何存储数据以实现快速搜索和分析。
HN 为什么推荐
HN 推荐它,认为这是来自核心提交者对 Lucene 内部机制富有教益、易于理解的讲解。
我超级推荐 Adrien Grand 关于 Lucene 和 Elasticsearch 的演讲。 — HN, 2020
中文字幕节选
[音乐] 我们将讨论呃Lucene内部机制,这是我发现非常 有趣的东西,所以我会试着让它对你们来说也呃有趣。关于我,我的 名字是Adrien Grand,我来自法国,呃我是Lucene/Solr提交者,我在 Elasticsearch工作,你可以看到我对Lucene 内部机制感兴趣的一种方式是,过去几个月里索引文件格式改变了很多,所以我 从start field开始,但最终呃我参与了St feed格式、词 向量格式和doc values的工作,我会试着让你们深入了解 呃Lucene的工作方式。所以一个你可能在来 这个演讲之前就有的问题是,我为什么要学习呃Lucene内部机制?所以你可能会想,如果 你需要学习某个东西的内部机制,那意味着那个API 不够好,但实际上有很好的理由去学习Lucene内部机制。 第一个好理由是了解API的成本,所以非常重要的是 了解每个API的成本,如果你想最好地呃使用它们并构建极 快的呃搜索应用。有一些事情你永远不应该用Lucene做, 特别是你永远不应该一直提交,所以每次 添加文档时都做一次Lucene提交,是让呃索引变得非常非常慢的最佳方式, 用Lucene。人们还有另一个问题,例如我什么时候应该 使用stored fields和doc values?因为Lucene提供了这两个选项来 访问字段值,所以我应该呃使用哪一个?这是你可能 呃开始使用Lucene时会有的问题。最后,了解API的 成本非常重要,因为你能用Lucene做某事并不意味着 Lucene是做这件事的正确工具。所以希望你知道Lucene 内部机制能帮助你呃更好地决定是否呃应该使用 Lucene。了解Lucene内部机制有趣的另一个原因是 理解索引大小,所以很多时候在主邮件列表上我们有 人来问,我刚刚删除了20%的文档,怎么 呃一点空间都没有回收?删除到底有没有 用?问题是什么?实际上如果你知道 Lucene的工作方式,这很容易理解。最后呃,我认为Lucene内部机制非常有趣,所以我 试着分享呃我过去几年学到的关于 它的东西。回到Lucene,Lucene全是关于索引的,那么 什么是索引?索引的主要点是让数据快速可搜索,那么我们如何 做到呢?有几件事你可以做,有一件事你应该不应该 害怕,就是如果有帮助就复制数据,所以这是Lucene 一直在做的事情,复制数据,这样呃你可以访问它呃 非常快,无论你的访问模式是什么。呃为了让数据快速 可搜索,你需要根据你的查询来决定如何索引数据,而不是 根据你的文档,这意味着如果你想快速搜索数据,把它 放入Lucene索引还不够,你还需要考虑索引 数据的方式。呃在Lucene中,所以大多数时候呃Lucene 会尽其所能来用呃更新速度换取搜索速度,所以 比较Lucene,我的意思是Lucene的替代方案可能是使用grep来 查找匹配,例如在一个包含呃你感兴趣的行
HN 上的讨论
我超级推荐Adrien Grand关于Lucene和Elasticsearch的演讲。它们非常有启发性,而且容易理解。[VIDEO] [LINK] — drej, 2020-01
这太棒了。我最近在复习Lucene概念,发现这个视频真的很好:[VIDEO] 这个网站也有一系列Lucene文章,相当不错。特别是关于Term Vectors的那篇:[LINK] 根据一些快速研究,Lucene似乎已经在使用排序的跳表数据结构来处理倒排列表,所以我想知道为什么他们必须做一个自定义实现?也许这与他们的自定义文档ID方案有关,以及他们希望保持倒排列表中的顺序与默认行为不同。听起来搜索器在索引写入时就在搜索,并且有一些关于可见性的自定义协调,这可能需要偏离Lucene的默认行为。不管怎样,非常令人印象深刻! — stereosteve, 2020-06
这是非常高级的。核心提交者Adrien Grand对Lucene内部工作原理的精彩见解:[LINK] [VIDEO] — ddorian43, 2019-09
相关视频
- TypeScript 类型可以运行 DOOM · Michigan TypeScript · 6:59
- C++Now 2018: Matt Godbolt “我的编译器最近还为我做了什么?” · CppNow · 1:30:03
- CppCon 2017:Matt Godbolt “编译器最近为我做了什么?揭开编译器的盖子” · CppCon · 1:15:45
- “用确定性模拟测试分布式系统” by Will Wilson · Strange Loop Conference · 40:20
- 开源经济学 by C J Silverio | JSConf EU 2019 · JSConf · 37:43
- Rich Hickey 谈价值的价值 · InfoQ · 31:43
- CppCon 2017: Matt Kulukundis “逐步设计一个快速、高效、缓存友好的哈希表” · CppCon · 59:33
- AWS re:Invent 2018: Amazon DynamoDB 深入探讨:DynamoDB 高级设计模式 (DAT401) · Amazon Web Services · 59:56
- Martin Kleppmann 的 "用 Apache Samza 将数据库翻转" · Strange Loop Conference · 47:42
- 快速傅里叶变换(FFT):史上最巧妙的算法? · Reducible · 28:23
- 现代字典 by Raymond Hettinger · SF Python · 1:07:41
- 最终一致性的冲突解决 • Martin Kleppmann • GOTO 2016 · GOTO Conferences · 51:35
- CppCon 2014: Chandler Carruth “算法效率,数据结构性能” · CppCon · 1:13:41
- 01 - 课程介绍与关系模型(CMU 数据库系统 / 2019 年秋季) · CMU Database Group · 1:06:44
- CppCon 2017: Juan Pedro Bolivar Puente “后现代不可变数据结构” · CppCon · 1:05:59
- 排序算法:速度存在于人们的头脑中 - Andrei Alexandrescu - CppCon 2019 · CppCon · 1:29:55