我们在使用Elasticsearch时应该选择性的避免一些可能导致集群变慢甚至崩溃的操作,这是非常必要的。

通配符

我们在查询时,或多或少可能会用到通配符(比如:*)来进行查询操作。但是一个通配符下对应的往往是非常大的数据集,这种情况下,很容易导致集群变慢。所以我们在使用通配符时一定要注意,通配符下的数据集是否过大。

对于分词字段聚合查询

我们一定要避免对分词字段的聚合操作,尤其是类似content这类字段,分词结果往往数量级很大。Elasticsearch中对于分词字段的聚合是针对分词结果的term进行聚合,而非整个field_value,这种操作结果就是占用大量的系统内存。所以,需要聚合的字段我们不要分词,一般设置keyword即可。

聚合基数

对于聚合字段,如果聚合的基数很大,一样会导致系统很大的开销。什么是聚合基数呢?举个例子说就是,你将要对人名进行分组聚合,可以想像,一旦你的系统中用户数过亿,那这个基数就非常大了。所以对于基数过大的聚合,最好还是通过其他办法来实现聚合操作。

Mapping

我们都知道,Elasticsearch中每个节点都是可以处理index、delete、update、search请求的。但是在index时,如果插入的doc中存在一个未知字段,那就涉及到mapping的修改(增加新field)。但是mapping修改是要锁住整个索引的,因为mapping作为集群状态信息是维护在Master,虽然所有节点都有同步集群状态,但只有Master可以进行修改,就是说要等待Master修改Mapping信息并同步到所有节点后,才能进行下一步插入操作,这期间整个索引都是锁住的。这在一些场景是很致命的,所以一般建议配置Mapping:dynamic=false,来禁止Mapping动态修改,但这只是从一定程度上减少了Mapping对集群的影响。

参考:Elasticsearch原理(五):Master机制及脑裂分析


更多文章关注公众号

更多:Elasticsearch深入理解专栏
——————————————————————————————————
作者:桃花惜春风
转载请标明出处,原文地址:
https://blog.csdn.net/xiaoyu_BD/article/details/82842689
如果感觉本文对您有帮助,您的支持是我坚持写作最大的动力,谢谢!

Elasticsearch干货(九):Elasticsearch崩溃风险相关推荐

  1. ElasticSearch(九):ELK 架构

    日志收集-->格式化分析-->检索和可视化-->风险告警 ELK架构 经典的ELK 整合消息队列+Nginx架构 什么是Logstash Logstash核心概念 Logstash数 ...

  2. ElasticSearch,docker 安装ElasticSearch,Springboot 使用 ElasticSearch JavaAPI

    什么是 ElasticSearch ? 数据库查询存在的问题: 性能低:使用模糊查询,左边有通配符,不会走索引,会全表扫描,性能低 关键字模糊查询比较麻烦 ElasticSearch概念 • Elas ...

  3. yum安装elasticsearch慢_ELK elasticsearch yum 安装(4th)

    比起tar包安装,以yum方式安装对于启动和关闭elasticsearch服务更为方便.而对于CentOS与Ubuntu而言,apt 安装比yum 更为方便.楼主工作前期中是以CentOS系统为主,后 ...

  4. 【elasticsearch】总结—elasticsearch启动失败的几种情况及解决

    1.使用root用户启动失败 在有一次搭建elasticsearch的时候,使用systemctl启动elasticsearch失败,然后在bin目录下面去使用启动脚本启动,发现报错不能用root用户 ...

  5. python实用大全pdf_超级实用干货|九大技巧,带你用Python玩转PDF

    原标题:超级实用干货|九大技巧,带你用Python玩转PDF 尽管PDF最开始是由Adobe发明的,但它现在已经成为国际标准组织ISO维护的公开标准了.大家可以在Python中通过PyPDF2包来处理 ...

  6. ElasticSearch简介及ElasticSearch部署、原理和使用介绍

    ElasticSearch简介及ElasticSearch部署.原理和使用介绍 第一章:elasticsearch简介 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式 ...

  7. ElasticSearch:部署ElasticSearch Kibana

    ElasticSearch:部署ElasticSearch & Kibana 以下关于ElasticSearch的介绍来自官网: 查询和分析,从数据中探寻各种问题的答案: 定义您自己的搜索方式 ...

  8. 高德地图报错updatePrivacyShow、updatePrivacyAgree若未正确设置有崩溃风险-解决方案

    一.报错现象 集成高德地图出现崩溃,以前没有问题,报错信息为:updatePrivacyShow.updatePrivacyAgree若未正确设置有崩溃风险 二.问题原因 由于个人信息保护法的实时,高 ...

  9. Elasticsearch:使用 Elasticsearch 和 BERT 构建搜索引擎 - TensorFlow

    在本文中,我们使用预训练的 BERT 模型和 Elasticsearch 来构建搜索引擎. Elasticsearch 最近发布了带有向量场的文本相似性(text similarity search ...

  10. 浙大计算机直博夏令营录取率,保研干货 | 直博有风险,“入坑”需谨慎

    原标题:保研干货 | 直博有风险,"入坑"需谨慎 清凉的七月已经进入尾声,各大高校.医院的夏令营正开展得如火如荼.不知各位,是否正在前往夏令营的路上,还是已经拿到了心仪的offer ...

最新文章

  1. 一张图解释什么是遗传算法_一张图告诉你什么叫真正的满配m416,吃鸡玩家看懵了...
  2. selenium元素的定位以及操作 第二章
  3. 通过Runtime源码了解关联对象的实现
  4. 区别于2.4g 4.33的780m无线模块
  5. JVM内存参数详解以及配置调优
  6. sparkStreaming 练习
  7. 复现经典:《统计学习方法》第 12 章 监督学习方法总结
  8. 第5章 Python 数字图像处理(DIP) - 图像复原与重建14 - 逆滤波
  9. 兼容各种浏览器的自动左右滚动兼左右点击滚动代码
  10. ajax,jsonp,axios面试题
  11. 第一次使用DataGrip,连接后看不到自己所有数据库
  12. Git hub加载慢?下载慢?浏览慢?几个小技巧让你一键起飞!
  13. 移动设备数据丢失恢复有办法
  14. MATLAB线性规划整数变量,Matlab 整数线性规划问题模型代码
  15. Qt构建时出现Makefile Error 1的解决办法
  16. 老师发的周报写法,之前自己太随意没有规则了QAQ
  17. 计算机图形学孔令德基础知识,计算机图形学基础教程孔令德答案
  18. wifi底层学习之路:三,Linux内核子系统mac80211
  19. portraiture4图片修图磨皮滤镜插件支持Win和Mac
  20. 微信小程序评论功能的实现(用的是假数据)

热门文章

  1. 凌凯短信Webservice接口报错解决办法
  2. 电脑输入英文字符的时候字体突然变了样
  3. vs code Java运行问题:Build failed, do you want to continue?
  4. 【easyAR】图片识别
  5. stm32怎么基于ds1302实现闹钟功能,不使用定时器
  6. kubernetes 之 ingress-nginx 概述
  7. 微软人工智能九步学习法
  8. 飞行堡垒安装Linux黑屏,华硕飞行堡垒_安装kali后N卡问题
  9. shell命令执行顺序控制(、||、()、{}用法)
  10. Bash 实例,第 3 部分