文章目录

ElasticSearch 基本使用
- 一、简介
- 二、参考文档
- 三、ES核心概念
- - 核心概念
  - 数据类型
- 四、REST APIS
- - 索引API
  - 文档API
  - 查询文档API
- 五、SQL REST API

ElasticSearch 基本使用

系统环境

ElasticSearch：elasticsearch:7.14.1

kibana:7.14.1

服务器：Ubuntu 16.04.6 LTS

一、简介

Elasticsearch 是一个分布式的、开源的搜索分析引擎，支持各种数据类型，包括文本、数字、地理、结构化、非结构化

Elastic Search基于lucene，封装了许多lucene底层功能，提供了分布式的服务、简单易用的restful API接口和许多语言的客户端

Elasticsearch 简称ES, 经常与Logstash 和Kibana 一起使用，江湖人称ELK.

这E 自然指的就是Elasticsearch,简称ES, 具有分布式存储,搜索和分析的功能
L 指的就是Logstash,分布式日志收集框架
K 指的就是Kibana,可视化分析框架

二、参考文档

docker部署es

REST APIS 参考文档

Java REST Client 参考文档

三、ES核心概念

核心概念

集群（Cluster）：包含一个或多个启动着es实例的机器群。通常一台机器起一个es实例。默认集群名是“elasticsearch”，同一网络，同一集群名下的es实例会自动组成集群
节点（Node）：一个es实例即为一个节点
索引（Index）：即拥有相似文档的集合
类型（Type）：每个索引里都可以有一个或多个type，type是index中的一个逻辑数据分类，一个type下的document，都有相同的field。7.x版本正式被去除
文档（Document）：es中的最小数据单元。一个document就像数据库中的一条记录。通常以json格式显示。多个document存储于一个索引（Index）中
映射（Mapping）：定义索引中的字段的名称，定义字段的数据类型，比如字符串、数字、布尔

数据类型

简单数据类型
- 字符串：text：会分词，不支持聚合。keyword：不会分词，将全部内容作为一个词条，支持聚合
- 数值
- 布尔：boolean
- 二进制：binary
- 范围类型：integer_range, float_range, long_range, double_range, date_range
- 日期：date
复杂数据类型
- 数组：[ ] Nested: nested (for arrays of JSON objects 数组类型的JSON对象)
- 对象：{ } Object: object(for single JSON objects 单个JSON对象)

四、REST APIS

索引API

# 创建索引
PUT /my_index_000001# 添加映射
PUT /my_index_000001/_mapping
{"properties":{"name":{"type":"text"},"age":{"type":"integer"}}
}# 更新映射   更新映射也就是只添加字段
PUT /my_index_000001/_mapping
{"properties": {"name":{"type":"text"},"picture_url": {"type": "keyword","ignore_above": 500}}
}# 查询所有索引
GET _cat/indices# 查看一个索引
GET /my_index_000001# 删除索引
DELETE /my_index_000001# 创建索引并添加映射
PUT /my_index_000002
{"mappings": {"properties": {"name": {"type": "text"},"age": {"type": "integer"},"birthday":{"type": "date","format": "yyyy‐MM‐dd HH:mm:ss||yyyy‐MM‐dd"}}}
}# 创建多个索引，并添加映射
PUT /my_index_000002，my_index_000003
{"mappings": {"properties": {"name": {"type": "text"},"age": {"type": "integer"},"birthday":{"type": "date","format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"}}}
}

文档API

# 创建索引，并添加映射
# 下边的设置允许birthday字段存储年月日时分秒、年月日及毫秒三种格式
PUT /my_index_000005
{"mappings": {"properties": {"name": {"type": "text"},"age": {"type": "integer"},"birthday":{"type": "date","format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"}}}
}# 插入一条数据 这里的1是文档id，没有指定id自动生成id
POST /my_index_000005/_doc/1
{"name": "test1","age": 16,"birthday": "2015-01-01"
}
# 插入一条数据
POST /my_index_000005/_doc/2
{"name": "test1","age": 16,"birthday": "1420070400001"
}
# 插入一条数据
POST /my_index_000005/_doc/3
{"name": "test1","age": 16,"birthday": "2015-01-01 13:14:59"
}# 查询这个索引中的所有文档
GET /my_index_000005/_search
# 根据id查询文档
GET /my_index_000005/_doc/1# 删除文档
DELETE my_index_000005/_doc/1# 修改文档
PUT my_index_000005/_doc/2
{"name":"李四","age": 18,"birthday": "1420070400001"
}

查询文档API

query基本匹配查询关键字说明

关键字	说明
match_all	查询简单的匹配所有文档。在没有指定查询方式时，它是默认的查询
match	用于全文搜索或者精确查询，如果在一个精确值的字段上使用它，例如数字、日期、布尔或者一个 not_analyzed 字符串字段，那么它将会精确匹配给定的值
range	查询找出那些落在指定区间内的数字或者时间 gt 大于；gte 大于等于；lt 小于；lte 小于等于
term	被用于精确值匹配
terms	terms 查询和 term 查询一样，但它允许你指定多值进行匹配
exists	查找那些指定字段中有值的文档
missing	查找那些指定字段中无值的文档
must	多组合查询必须匹配这些条件才能被包含进来
must_not	多组合查询必须不匹配这些条件才能被包含进来
should	多组合查询如果满足这些语句中的任意语句，将增加 _score ，否则，无任何影响。它们主要用于修正每个文档的相关性得分
filter	多组合查询这些语句对评分没有贡献，只是根据过滤标准来排除或包含文档

环境准备

# 创建索引
PUT xc_course
# 添加映射
PUT /xc_course/_mapping
{"properties": {"description": {"type": "text","analyzer": "ik_max_word","search_analyzer": "ik_smart"},"name": {"type": "text","analyzer": "ik_max_word","search_analyzer": "ik_smart"},"pic":{"type":"text","index":false},"price": {"type": "float"},"studymodel": {"type": "keyword"},"timestamp": {"type": "date","format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"}  }
}POST /xc_course/_doc/1
{"name": "Bootstrap开发",
"description": "Bootstrap是由Twitter推出的一个前台页面开发框架，是一个非常流行的开发框架，此框架集成了多种页面效果。此开发框架包含了大量的CSS、JS程序代码，可以帮助开发者（尤其是不擅长页面开发的程序人员）轻松的实现一个不受浏览器限制的精美界面效果。",
"studymodel": "201002",
"price":38.6,
"timestamp":"2018-04-25 19:11:35",
"pic":"group1/M00/00/00/wKhlQFs6RCeAY0pHAAJx5ZjNDEM428.jpg"
}POST /xc_course/_doc/2
{"name": "java编程基础",
"description": "java语言是世界第一编程语言，在软件开发领域使用人数最多。",
"studymodel": "201001",
"price":68.6,
"timestamp":"2018-03-25 19:11:35",
"pic":"group1/M00/00/00/wKhlQFs6RCeAY0pHAAJx5ZjNDEM428.jpg"
}POST /xc_course/_doc/3
{"name": "spring开发基础",
"description": "spring 在java领域非常流行，java程序员都在用。",
"studymodel": "201001",
"price":88.6,
"timestamp":"2018-02-24 19:11:35",
"pic":"group1/M00/00/00/wKhlQFs6RCeAY0pHAAJx5ZjNDEM428.jpg"
}

只查询一条studymodel为201001的数据

POST /xc_course/_search
{"query": {"match": {"studymodel": "201001"}},"size": 1
}

只查询前20条studymodel为201001的数据并以price降序排列

POST /xc_course/_search
{"query": {"match": {"studymodel": "201001"}},"size": 20,"sort": [{"price": {"order": "desc"}}]
}

只查询前20条price大于50小于90的数据并以price降序排列

POST /xc_course/_search
{"query": {"range": {"price": {"gte": 50,"lte": 90}}},"size": 20,"sort": [{"price": {"order": "desc"}}]
}

只查询前20条timestamp为下面具体值的数据并以price降序排列

POST /xc_course/_search
{"query": {"terms": {"timestamp": ["2018-02-24 19:11:35","2018-03-25 19:11:35"]}},"size": 20,"sort": [{"price": {"order": "desc"}}]
}

五、SQL REST API

POST /_sql
{"query": """SELECT * FROM "xc_course" where studymodel = 201001 ORDER BY price DESC LIMIT 5"""
}POST /_sql
{"query": """SELECT * FROM "ks-logstash-log*"""","fetch_size":5
}

使用ES查询DSL进行过滤

POST /_sql
{"query": "SELECT * FROM xc_course ORDER BY price DESC","filter":{"range": {"price": {"gte": 50,"lte": 90}}},"fetch_size":5
}POST /_sql
{"query": "SELECT * FROM xc_course ORDER BY price DESC","filter":{"terms": {"studymodel": ["201001"]}},"fetch_size":5
}

异步运行sql搜索

POST /_sql
{"query": """SELECT * FROM "ks-logstash-log*"""","fetch_size":20,"wait_for_completion_timeout": "1s"
}

值为is_partial，true表示搜索结果不完整
值is_running，true表示搜索仍在后台运行
一个id用于搜索