如何进行Elasticsearch数据写入的分析

这期内容当中小编将会给大家带来有关如何进行Elasticsearch数据写入的分析，文章内容丰富且以专业的角度为大家分析和叙述，阅读完这篇文章希望大家可以有所收获。

• 分布式的实时文件存储，每个字段都被索引并可被搜索

• 分布式的实时分析搜索引擎

• 可以扩展到上百台服务器，处理 PB 级结构化或非结构化数据

二、Elasticsearch & Lucene 的关系

因此，入门 ES 的同学，稍微了解下 Lucene 即可。如果往高级走，还是需要学习 Lucene 底层的原理。因为倒排索引、打分机制、全文检索原理、分词原理等等，这些都是不会过时的技术。

三、新文档写入流程

3.1 数据模型

如图

• 一个 ES Index （索引，比如商品搜索索引、订单搜索索引）集群下，有多个 Node （节点）组成。每个节点就是 ES 的实例。

• 每个节点上会有多个 shard （分片）， P1 P2 是主分片 R1 R2 是副本分片

• 每个分片上对应着就是一个 Lucene Index（底层索引文件）

• Lucene Index 是一个统称。由多个 Segment （段文件，就是倒排索引）组成。每个段文件存储着就是 Doc 文档。

3.2 Lucene Index

lucene 中，单个倒排索引文件称为 segment。其中有一个文件，记录了所有 segments 的信息，称为 commit point：

• 文档 create 新写入时，会生成新的 segment。同样会记录到 commit point 里面

• 文档查询，会查询所有的 segments

• 当一个段存在文档被删除，会维护该信息在 .liv 文件里面

3.3 新文档写入流程

数据持久化步骤如下：write -> refresh -> flush -> merge

3.3.1 write 过程

一个新文档过来，会存储在 in-memory buffer 内存缓存区中，顺便会记录 Translog。

• in-memory buffer 中的文档写入到新的 segment 中，但 segment 是存储在文件系统的缓存中。此时文档可以被搜索到

• 最后清空 in-memory buffer。注意: Translog 没有被清空，为了将 segment 数据写到磁盘

文档经过 refresh 后， segment 暂时写到文件系统缓存，这样避免了性能 IO 操作，又可以使文档搜索到。refresh 默认 1 秒执行一次，性能损耗太大。一般建议稍微延长这个 refresh 时间间隔，比如 5 s。因此，ES 其实就是准实时，达不到真正的实时。

3.3.3 flush 过程

上个过程中 segment 在文件系统缓存中，会有意外故障文档丢失。那么，为了保证文档不会丢失，需要将文档写入磁盘。那么文档从文件缓存写入磁盘的过程就是 flush。写入磁盘后，清空 translog。

• 保证文件缓存中的文档不丢失

• 系统重启时，从 translog 中恢复

• 新的 segment 收录到 commit point 中

具体可以看官方文档：https://www.elastic.co/guide/...

3.3.4 merge 过程

上面几个步骤，可见 segment 会越来越多，那么搜索会越来越慢？怎么处理呢？

• 就是各个小段文件，合并成一个大段文件。段合并过程

• 段合并结束，旧的小段文件会被删除

• .liv 文件维护的删除文档，会通过这个过程进行清除

四、小结

如这个图，ES 写入原理不难，记住关键点即可。

• write：文档数据到内存缓存，并存到 translog

• refresh：内存缓存中的文档数据，到文件缓存中的 segment 。此时可以被搜到

• flush 是缓存中的 segment 文档数据写入到磁盘

上述就是小编为大家分享的如何进行Elasticsearch数据写入的分析了，如果刚好有类似的疑惑，不妨参照上述分析进行理解。如果想知道更多相关知识，欢迎关注亿速云行业资讯频道。