ELK 面试题及答案

文章目录

1.ELK 是什么？
2.ELK 能做什么？
3.简要概述 Elasticsearch？
4.Elasticsearch 主要特点
5.ES 相关概念
6.什么是分词器
7.elasticsearch 的倒排索引是什么？
8.Elasticsearch 是如何实现 Master 选举的？
9.Elasticsearch 如何避免脑裂？
10.详细描述一下 Elasticsearch 索引文档的过程
11.请概述 Elasticsearch 搜索的过程？

前言

本文仅收录了一些常见的ELK 面试题，如需查看其它java面试题可查看我另一篇博文：

JAVA | 2021最全Java面试题及答案汇总

正文

1.ELK 是什么？

ELK 其实并不是一款软件，而是一整套解决方案，是三个软件产品的首字母缩写
Elasticsearch：负责日志检索和储存
Logstash：负责日志的收集和分析、处理
Kibana：负责日志的可视化
这三款软件都是开源软件，通常是配合使用，而且又先后归于 Elastic.co 公司名下，
故被简称为 ELK。加入 Beats 系列组件后，官方名称就变为了 Elastic Stack

2.ELK 能做什么？

ELK 组件在海量日志系统的运维中，可用于解决：
分布式日志数据集中式查询和管理、系统监控，包含系统硬件和应用各个组件的监控、
故障排查、安全信息和事件管理、报表功能等等

3.简要概述 Elasticsearch？

ElasticSearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的
全文搜索引擎，基于 RESTful API 的 web 接口。
Elasticsearch 是用 Java 开发的，并作为 Apache 许可条款下的开放源码发布，是当前
流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装
使用方便

4.Elasticsearch 主要特点

1.实时分析
2.分布式实时文件存储，并将每一个字段都编入索引
3.文档导向，所有的对象全部是文档
4.高可用性，易扩展，支持集群（Cluster）、分片和复制（Shards 和 Replicas）
接口友好，支持 JSON

5.ES 相关概念

Node：装有一个 ES 服务器的节点。
Cluster：有多个 Node 组成的集群
Document：一个可被搜素的基础信息单元
Index：拥有相似特征的文档的集合
Type：一个索引中可以定义一种或多种类型
Filed：是 ES 的最小单位，相当于数据的某一列
Shards：索引的分片，每一个分片就是一个 Shard
Replicas：索引的拷贝

6.什么是分词器

分词是将文本转换成一系列单词（Term or Token）的过程，也可以叫文本分析，在 ES
里面称为 Analysis
分词器是 ES 中专门处理分词的组件，英文为 Analyzer，它的组成如下：
Character Filters：针对原始文本进行处理，比如去除 html 标签
Tokenizer：将原始文本按照一定规则切分为单词
Token Filters：针对 Tokenizer 处理的单词进行再加工，比如转小写、删除或增新等
处理
ES 提供了一个可以测试分词的 API 接口，方便验证分词效果，endpoint 是_analyze
ES 也提供了很多内置的分析器。

7.elasticsearch 的倒排索引是什么？

正排索引是以文档的 ID 为关键字，表中记录文档中每个字的位置信息，查找时扫描表
中每个文档中字的信息直到找出所有包含查询关键字的文档。
而倒排索引，是通过分词策略，形成了词和文章的映射关系表，这种词典+映射表即为
倒排索引。
有了倒排索引，就能实现 o（1）时间复杂度的效率检索文章了，极大的提高了检索效
率。
所以总的来说，正排索引是从文档到关键字的映射（已知文档求关键字），倒排索引是
从关键字到文档的映射（已知关键字求文档）。

8.Elasticsearch 是如何实现 Master 选举的？

采用 Bully 算法，它假定所有节点都有一个唯一的 ID，使用该 ID 对节点进行排序。
Elasticsearch 的选主是 ZenDiscovery 模块负责的，主要包含 Ping（节点之间通过这个 RPC
来发现彼此）和 Unicast（单播模块包含一个主机列表以控制哪些节点需要 ping 通）这两
部分；
对所有可以成为 master 的节点（node.master: true）根据 nodeId 字典排序，每次选
举每个节点都把自己所知道节点排一次序，然后选出第一个（第 0 位）节点，暂且认为它是
master 节点。
如果对某个节点的投票数达到一定的值（可以成为 master 节点数 n/2+1）并且该节点
自己也选举自己，那这个节点就是 master。否则重新选举一直到满足上述条件。
补充：master 节点的职责主要包括集群、节点和索引的管理，不负责文档级别的管理；
data 节点可以关闭 http 功能。
7.X 之后的 ES，采用一种新的选主算法，实际上是 Raft 的实现，但并非严格按照 Raft
论文实现，而是做了一些调整。Raft 是工程上使用较为广泛分布式共识协议，是多个节点
对某个事情达成一致的看法，即使是在部分节点故障、网络延时、网络分区的情况下。

9.Elasticsearch 如何避免脑裂？

ES 集群中的节点（比如共 20 个），其中的 10 个选了一个 master，另外 10 个选了另一
个 master，怎么办？
当集群 master 候选数量不小于 3 个时，可以通过设置最少投票通过数量
（discovery.zen.minimum_master_nodes）超过所有候选节点一半以上来解决脑裂问题；
当候选数量为两个时，只能修改为唯一的一个 master 候选，其他作为 data 节点，避免
脑裂问题。
在 Elasticsearch 7.0 里重新设计并重建了的集群协调子系统，移除
minimum_master_nodes 参数，转而由集群自主控制。

10.详细描述一下 Elasticsearch 索引文档的过程

协调节点默认使用文档 ID 参与计算（也支持通过 routing），以便为路由提供合适的
分片。
shard = hash(document_id) % (num_of_primary_shards)
当分片所在的节点接收到来自协调节点的请求后，会将请求写入到 Memory Buffer，然
后定时（默认是每隔 1 秒）写入到 Filesystem Cache，这个从 Momery Buffer 到 Filesystem
Cache 的过程就叫做 refresh；
当然在某些情况下，存在 Momery Buffer 和 Filesystem Cache 的数据可能会丢失，ES
是通过 translog 的机制来保证数据的可靠性的。其实现机制是接收到请求后，同时也会写
入到 translog 中，当 Filesystem cache 中的数据写入到磁盘中时，才会清除掉，这个过程
叫做 flush；在 flush 过程中，内存中的缓冲将被清除，内容被写入一个新段，段的 fsync 将创建一
个新的提交点，并将内容刷新到磁盘，旧的 translog 将被删除并开始一个新的 translog。
flush 触发的时机是定时触发（默认 30 分钟）或者 translog 变得太大（默认为 512M）
时；

11.请概述 Elasticsearch 搜索的过程？

搜索拆解为“query then fetch” 两个阶段。
query 阶段的目的：定位到位置，但不取。
步骤拆解如下：
1）假设一个索引数据有 5 主+1 副本共 10 分片，一次请求会命中（主或者副本分片中）
的一个。
2）每个分片在本地进行查询，结果返回到本地有序的优先队列中。
3）第 2）步骤的结果发送到协调节点，协调节点产生一个全局的排序列表。
fetch 阶段的目的：取数据。
路由节点获取所有文档，返回给客户端。