ES是什么？

Lucene是什么？

ES基本组件

ES架构（集群组件）

ES工作原理

ES默认端口

ES应用场景

集群构建

1、安装jdk

配置jdk

2、安装ES

3、修改yml配置文件

4、验证es是否启动成功

产生背景：海量数据查询

需要毫秒级或者秒级返回结果

购物商城输入手机，页面需要快速返回数据

ES是什么？

是一个基于lucene实现的开源、分布式、RESTful的全文本搜索引擎，此外，他还是一个分布式实时文档存储，其中每个文档的每个域都是被索引的数据，且可以被搜索，也是一个带实时分析功能的分布式搜索引擎，可以扩展至数以百计的节点实时处理PB级别的数据

Lucene是什么？

专注于搜索底层的建设，而ES主要用于企业应用,构建于lucene之上，即ES的核心是lucene。

lucene是一个开放源代码的全文检索引擎工具包，但它不是一个完整

的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询

引擎和索引引擎，部分文本分析引擎。是以java语言研发的

官网地址： Apache Lucene - Welcome to Apache Lucene

查询lucene索引时，他返回的是一个有序的scoreDOC对象，查询时，Lucene会为每个文档计算出其score.

Lucene的多样化查询方式：

IndexQuery:对索引中的特定项进行搜索，Term是索引中的最小索引片段，每个Term包含了一个域名和一个文本值，比如指定后缀名是.jpg

TermRangeQuery:在索引中的多个特定项中进行搜索，能够搜索指定的多个域

NumericRangeQuery:做数值范围搜索

PrefixQuery:用于搜索以指定字符串开头的项

BooleanQuery:用于实现组合查询：比如年龄大于20并且姓李，组合逻辑有：AND,OR,NOT

WildcardQuery:通配符查询

FuzzyQuery:模糊查询，

PhraseQuery

ES基本组件

索引：具有类似属性的文档的集合，类似于表，索引名必须使用小写字母

类型：一个索引可以定义一或多个类型，类型就是拥有相同的域的文档的预定义

文档：是lucene索引和搜索的最小单位，它包含了一个或多个域，是基于json格式的表示。（域:field,或称为字段）

ES架构（集群组件）

Cluster:ES集群的标识为集群名称，默认是”elasticsearch“，节点就是靠此名字来决定加入到哪个集群中，一个节点只能属于一个集群

Node:运行了单个ES实例的主机即为节点，用于存储数据，参与集群的索引和搜索操作，节点的标识靠节点名

Shard:切片，将索引切割为物理存储组件，每一个shard都是一个独立且完整的索引，创建索引时，ES默认将其分割为5个shard,用户也可以按需自定义

shard有两种类型：primary shard,replica

replica用于数据冗余及查询时的负载均衡，每个主shard的副本数量可以自定义，且可以动态修改

ES工作原理

启动时，通过多播（默认）或者单播的方式在9300/tcp查找同一集群中的其他节点，并与之建立通信

集群中，所有节点会选择出一个主节点并且负责管理整个集群状态，以及在集群范围内决定各shard的分布方式，站在用户的角度而言，每个节点均可以接收并且响应用户的各类请求。

集群状态有：green,red,yellow

ES默认端口

9300/tcp：负责参与集群的事务 transport.tcp.port

9200/tcp:接受请求 http.port

ES应用场景

主要适用于站内搜索、文档数据库、代码检索等等

集群构建

1、安装jdk

ES是运行在jvm上的ruby语言构建

因此需要先搭建jvm环境

配置jdk

JDK：有两种方式

oracle JDK oracle官网下载

OpenJDK

查看之前是否安装过jdk,得到结果如下：发现没有devel包

[root@node01 ~]#rpm -qa | grep jdk

java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64

java-1.8.0-openjdk-headless-1.8.0.262.b10-1.el7.x86_64

java-1.7.0-openjdk-1.7.0.261-2.6.22.2.el7_8.x86_64

java-1.7.0-openjdk-headless-1.7.0.261-2.6.22.2.el7_8.x86_64

copy-jdk-configs-3.3-10.el7_5.noarch

查看java位置，发现是软连接，再深入查看，发现 /etc/alternatives/java也是软连接，来指向系统最新版java,这是为了在安装多个版本时，指向最新版java,我们不做深究。

[root@node01 ~]#which java

/usr/bin/java

[root@node01 ~]#ll /usr/bin/java

lrwxrwxrwx. 1 root root 22 Jun 20 2021 /usr/bin/java -> /etc/alternatives/java

[root@node01 ~]#ls -l /etc/alternatives/java

lrwxrwxrwx. 1 root root 71 Jun 20 2021 /etc/alternatives/java -> /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64/jre/bin/java

设置java环境变量

vim /etc/profile.d/java.sh

export JAVA_HOME=/usr

即可

安装devel包

[root@node01 ~]#yum install java-1.8.0-openjdk-devel.x86_64 可空格补全

安装完成，查看java -version

[root@node01 ~]#java -version

openjdk version "1.8.0_332"

OpenJDK Runtime Environment (build 1.8.0_332-b09)

OpenJDK 64-Bit Server VM (build 25.332-b09, mixed mode)

2、安装ES

进入ES官网https://www.elastic.co/cn/downloads/elasticsearch，按照指示进行

$wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.2.0-x86_64.rpm
$wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.2.0-x86_64.rpm.sha512
$shasum -a 512 -c elasticsearch-8.2.0-x86_64.rpm.sha512
$sudo rpm --install elasticsearch-8.2.0-x86_64.rpm

出现以下提示说明成功

warning: elasticsearch-8.2.0-x86_64.rpm: Header V4 RSA/SHA512 Signature, key ID d88e42b4: NOKEY

Creating elasticsearch group... OK

Creating elasticsearch user... OK

--------------------------- Security autoconfiguration information ------------------------------

Authentication and authorization are enabled.

TLS for the transport and HTTP layers is enabled and configured.

The generated password for the elastic built-in superuser is : huACYGvV2sSk8=Op1Jh7

If this node should join an existing cluster, you can reconfigure this with

'/usr/share/elasticsearch/bin/elasticsearch-reconfigure-node --enrollment-token <token-here>'

after creating an enrollment token on your existing cluster.

You can complete the following actions at any time:

Reset the password of the elastic built-in superuser with

'/usr/share/elasticsearch/bin/elasticsearch-reset-password -u elastic'.

Generate an enrollment token for Kibana instances with

'/usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s kibana'.

Generate an enrollment token for Elasticsearch nodes with

'/usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s node'.

-------------------------------------------------------------------------------------------------

### NOT starting on installation, please execute the following statements to configure elasticsearch service to start automatically using systemd

sudo systemctl daemon-reload

sudo systemctl enable elasticsearch.service

### You can start elasticsearch service by executing

sudo systemctl start elasticsearch.service

错误记录

1、OOM报错

Jun 15 08:57:47 node01 kernel: Out of memory: Kill process 6180 (java) score 460 or sacrifice child

Jun 15 08:57:47 node01 kernel: Killed process 6180 (java), UID 986, total-vm:1748348kB, anon-rss:856832kB, file-rss:0kB, shmem-rss:0kB

解决方法参考：

Out of memory: Kill process 解决 - 简书

关闭OOM，但是生产环境不建议

2、内存不足

由于自己的虚拟机内存不大，又开启了、mysql,docker，tomcat等服务，因此内存剩余很小，free -h 可以查看余下内存的数量，虽然能关闭的都关闭了，但是剩余的内存还是很小，因为的虚拟机内存本来就只分配了2G，JVM所需内存不足，解决方法参考https://www.jianshu.com/p/42b6f0805b70

#cd /etc/elasticsearch/

[root@node01 /etc/elasticsearch]#ls

certs elasticsearch-plugins.example.yml jvm.options log4j2.properties roles.yml users_roles

elasticsearch.keystore elasticsearch.yml jvm.options.d role_mapping.yml users

[root@node01 /etc/elasticsearch]#vim jvm.options #修改为256M

3、修改yml配置文件

[root@node01 /etc/elasticsearch]#vim elasticsearch.yml #进行如下设置

xpack.security.enabled: false

network.host: 0.0.0.0

http.cors.enabled: true

http.cors.allow-origin: "*"

[root@node01 /etc/elasticsearch]#systemctl daemon-reload

[root@node01 /etc/elasticsearch]#systemctl start elasticsearch.service

便可以启动成功

需要注意的是如何不设置这些，curl命令返回的值会是curl: (52) Empty reply from server，并且本地电脑浏览器也无法访问到ip:9200端口。

4、验证es是否启动成功

[root@node01/etc/elasticsearch]#ss -tnlp #查看虚拟机开放的端口和服务,可以看到9300和9200端口已经开放

[root@node01 /etc/elasticsearch]#curl 'localhost:9200?pretty' #访问集群，?pretty意为以易读的json格式显示

{

"name" : "node01",

"cluster_name" : "elasticsearch",

"cluster_uuid" : "xVoSjMliR9aj4Q0V9OC95w",

"version" : {

"number" : "8.2.0",

"build_flavor" : "default",

"build_type" : "rpm",

"build_hash" : "b174af62e8dd9f4ac4d25875e9381ffe2b9282c5",

"build_date" : "2022-04-20T10:35:10.180408517Z",

"build_snapshot" : false,

"lucene_version" : "9.1.0",

"minimum_wire_compatibility_version" : "7.17.0",

"minimum_index_compatibility_version" : "7.0.0"

"tagline" : "You Know, for Search"

}

本地浏览器访问

至此，es配置成功

【Elasticsearch-1】ES原理及安装es8.2.0相关推荐

Elasticsearch集群原理、安装和基本使用
Elasticsearch(ES)是一个基于Lucene构件的开源.分布式.RESTful接口全文搜索引擎.ES还是一个分布式文档数据库,其中每个字段均是被索引的数据且可被搜索,它能够扩展至数以百计的 ...
elasticsearch系列一：elasticsearch（ES简介、安装amp；配置、集成Ikanalyzer）
一.ES简介 1.ES是什么? Elasticsearch 是一个开源的搜索引擎,建立在全文搜索引擎库 Apache Lucene 基础之上用 Java 编写的,它的内部使用 Lucene 做索引与 ...
ElasticSearch面试 - es 写入数据的工作原理是什么啊？
ElasticSearch面试 - es 写入数据的工作原理是什么啊? 面试题 es 写入数据的工作原理是什么啊?es 查询数据的工作原理是什么啊?底层的 lucene 介绍一下呗?倒排索引了解吗? ...
【Elasticsearch】es IK分词器的安装
1.概述 [Elasticsearch]es 7.8.0 唐诗三百首写入 Elasticsearch 会发生什么之前我们创建索引,查询数据,都是使用的默认的分词器,分词效果不太理想,会把text的字 ...
【ElasticSearch系列】ES简介及安装
[前提:] 目前大部分的数据库在提取数据方面是非常薄弱的,虽然它们可以通过时间戳或相关的数值来进行内容的筛选,但是它们无法在全文搜索的同时做到同义词或相关性的搜索,它们也无法获取相同内容的数据.这个看 ...
ElasticSearch(二)：ES集群安装
安装Elasticsearch 创建普通用户 ES不能使用root用户来启动,必须使用普通用户来安装启动.这里我们创建一个普通用户以及定义一些常规目录用于存放我们的数据文件以及安装包等. 创建一个es ...
ES（Elasticsearch）7.6.1安装教程
Es(elasticsearch)7.6.1安装教程注意:除了最后启动ES的时候在es账户下执行,其他都是在root 下执行的.相关文件的下载,我这里都有,百度网盘链接:https://pan.ba ...
ElasticSearch 邂逅ES
ES学习第一篇:ElasticSearch 邂逅ES 第二篇:ElasticSearch入门第三篇:ElasticSearch JavaAPI操作第四篇:Windows单点和集群配置第五篇:L ...
ElasticSearch简介及ElasticSearch部署、原理和使用介绍
ElasticSearch简介及ElasticSearch部署.原理和使用介绍第一章:elasticsearch简介 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式 ...

【Elasticsearch-1】ES原理及安装es8.2.0

ES是什么？

Lucene是什么？

ES基本组件

ES架构（集群组件）

ES工作原理

ES默认端口

ES应用场景

集群构建

1、安装jdk

配置jdk

2、安装ES

3、修改yml配置文件

4、验证es是否启动成功

【Elasticsearch-1】ES原理及安装es8.2.0相关推荐

最新文章

热门文章