ES历史索引清理：脚本手动

文章有所更新，可以移步查看此篇ES历史索引清理-总结

方法一：脚本清理

删除15天以前的索引（索引仅保存15天）
思路：拿到索引名 -> 输出到指定文件内 -> 通过接口对文件内的索引进行删除

#/bin/bash
#指定日期(15天前)
Clear_Time=`date -d "15 days ago" +%Y.%m.%d`
Today=`date`#拿到15天以前的索引，输出到以15天为时间命名的文件中 如：index.2021.10.12
curl -s -XGET 'http://192.xxx.xxx.51:9200/_cat/indices' |awk '{print $3}'|grep $Clear_Time > /opt/clear_index/index.$Clear_Time#声明清理动作 (最终会在crontab定义的/opt/ES_Timing_Clear/es_clear.log日志中看到操作)
echo "In $Today start to clear "$Clear_Time" 's old indices>>>>>>>>"#对新输出到index.2021.10.12文件内的索引 进行删除
for i in `cat /opt/clear_index/index.$Clear_Time`dosleep 3curl -s -XDELETE http://192.xxx.xxx.51:9200/$i
doneecho "======================="
echo        "清理完成"
echo "======================="#每天凌晨3点执行
crontab -e
0 03 * * * /bin/bash /opt/ES_Timing_Clear/ES_clear.sh >> /opt/ES_Timing_Clear/es_clear.log

方法二： for 循环临时清理

思路：拿到索引名 -> 输出到某个文件内 -> for循环删除

2.1 过滤某个索引名，输出到指定文件|如果是针对所有的把grep去掉即可
curl -s -XGET 'http://192.xxx.xxx.51:9200/_cat/indices' |grep prophet-filebeat-6.5.1|sort -u|awk '{print $3}' >> a.es.log2.2 for循环删除
for i in `cat a.es.log`;do curl -s -XDELETE http://192.xxx.xxx.51:9200/$i;done

Tips，先在测试环境跑一下脚本，跑通后再放到生产环境运行，以免删错索引。
方法一中拿到索引那一步，需要注意怎样才能匹配到想要删除的索引名

本文参考：
https://blog.csdn.net/qq_36196879/article/details/103040226?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-12.control&dist_request_id=&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-12.control

ES历史索引清理：脚本手动相关推荐

ES索引清理脚本-总结
ES索引清理脚本-总结之前写过一个日格式的索引清理脚本,目前所在公司用的是「周」格式清理,所以再更新一下前言脚本流程:通过时间匹配历史索引 -> 记录到文件 -> 按照记录文件清理 ...
Elasticsearch清理历史索引笔记
前言 es用作海量数据和存储和检索,对于较大日志数据,如果全部存储在一个索引中, 像数据库表一样,久而久之,检索查询会越来越慢,服务器压力也大.无论是按天分索引.还是按月份索引,一般建立索引的时候都带 ...
es数据定时清理_一种基于ELK的数据自动清理方法与流程
本发明涉及涉及ELK.Shell.Kafka.Freemarker等技术领域,尤其涉及一种基于ELK的数据自动清理方法. 背景技术: ElasticSearch是一个基于Lucene的全文搜索服务.它 ...
Elasticsearch（一）——Es安装（三个必安工具、安装各种类型分词器）、Es 十大核心概念、通过 Kibana 操作 Es（中文分词、Es各种索引命令操作）
Elasticsearch(一)--Es安装(三个必安工具.安装各种类型分词器).Es 十大核心概念.通过 Kibana 操作 Es(中文分词.Es各种索引命令操作) 一.Elasticsearch ...
oracle 索引_分享三个Oracle数据库索引监控脚本，值得收藏
概述我们在维护业务系统时,可能会建立很多索引,那么这些索引的使用到底怎么样,是否有些索引一直都没有用到过,那么oracle 是如何监控索引的使用状况,是否可以清除它们? 监控索引一般有两种方式: ...
python list转字符串_我用python写了个自动生成给文档生成索引的脚本！懒人智慧...
我用 python 写了一个自动生成索引的脚本简介:为了刷算法题,建了一个 GitHub仓库: PiperLiu / ACMOI_Journey ,记录自己的刷题轨迹,并总结一下方法.心得.想到一个 ...
ES批量索引写入时的ID自动生成算法
对bulk request的处理流程: 1.遍历所有的request,对其做一些加工,主要包括:获取routing(如果mapping里有的话).指定的timestamp(如果没有带timestamp ...
我的一个学生在运维工作中写的自动日志清理脚本程序
本文是我的一个学生在运维工作中写的自动日志清理脚本程序,我这里不评价该shell脚本写的好与坏,只是发出来,和大家做一个分享,如果能给大家带来一点点思路上的参考就够了. 自动日志清理脚本程序 #!/b ...
Centos7搭建Java环境，并设置项目自启动脚本、定时数据库备份/日志清理脚本
开发环境下载,提供nginx-1.12.2.jdk-8u162.Jenkins下载建个文件夹,作为开发环境存放路径 cd /usr mkdir developmentEnvironment cd / ...

ES历史索引清理：脚本手动

方法一：脚本清理

方法二： for 循环临时清理

ES历史索引清理：脚本手动相关推荐

最新文章

热门文章