目录

  • 一、背景
  • 二、设置索引生命周期策略(ILM)
  • 三、手动给索引设置删除策略
  • 四、查看结果
  • 五、自动给索引添加删除策略
  • 六、参考

一、背景

ELK系统里面存放了大量日志索引,只需要保留15天的日志索引,希望到期自动删除对应的索引;
本文的解决方案是给索引添加生命周期策略,不需要手动设置定时器去调用api删除;

二、设置索引生命周期策略(ILM)

  1. 创建一个新的策略
  2. 记得关掉热阶段的滚动更新
  3. 开启删除阶段,设置过期时间,快照可以不用

三、手动给索引设置删除策略

如图

四、查看结果

如果过期时间比较短,像我这里测试是2分钟,会显示当前阶段是delete;
如果过期时间比较长,例如15天,则会出现hot阶段,具体原因查看文章末尾的官方链接;
到了delete阶段,过几分钟就会被删除了

五、自动给索引添加删除策略

但是实际项目中日志索引是自动生成的,那应该怎么自动添加删除策略呢?
我这里使用的是logstash7.9.2把日志文件传到elasticsearch中,默认情况下logstash会有一个索引创建模板,如图

默认情况下是没有ILM策略的,我们给它设置刚刚创建的策略,这样通过logstash传输创建的索引就会附带ILM策略;

当然还有一种方法是在logstash的output模块中设置,感兴趣可以查看官方文档
https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html#plugins-outputs-elasticsearch-ilm_enabled

六、参考

  1. 官方文档,大赞,写得很好很详细
    https://www.elastic.co/guide/en/elasticsearch/reference/7.9/index-lifecycle-management.html

Kibana7.9.2设置elasticsearch索引过期时间,到期自动删除相关推荐

  1. mysql bin的过期时间_Mysql设置binlog过期时间并自动删除

    问题: Mysql数据库由于业务原因,数据量增长迅速,binlog日志会增加较多,占用大部分磁盘空间. 解决方案: 出于节约空间考虑,可进行删除多余binary日志,并设置定期删除操作. 1.查看bi ...

  2. Mysql设置binlog过期时间并自动删除

    问题: Mysql数据库由于业务原因,数据量增长迅速,binlog日志会增加较多,占用大部分磁盘空间.解决方案: 出于节约空间考虑,可进行删除多余binary日志,并设置定期删除操作.1.查看binl ...

  3. Elasticsearch生命周期ILM若干时间后自动删除索引index

    Elasticsearch生命周期ILM若干时间后自动删除索引index (1)先手动在 数据 - 索引生命周期策略 里面 创建策略,假设这个策略名字叫 my-demo-test-policy.注意把 ...

  4. Redis源码分析:过期key删除与设置key的过期时间

    Redis中设置key过期时间与过期key的处理流程 在Redis中,可以再设置值的时候就设置该Key的过期时间,也可以通过在expire命令来设置某个key值的过期时间,并且在了解完设置过期时间之后 ...

  5. redis 存储数据不设置过期时间 会自动过期吗_Redis-数据淘汰策略持久化方式(RDB/AOF)Redis与Memcached区别...

    Redis与Memcached区别: 两者都是非关系型数据库.主要有以下不同: 数据类型: Memcached仅支持字符串类型. redis支持:String,List,set,zset,hash 可 ...

  6. redis查看key的过期时间_面试官:你在Redis中设置过带过期时间的Key吗?

    点击上方小伟后端笔记关注公众号 每天阅读Java干货文章 熟悉Redis的同学应该知道,Redis的每个Key都可以设置一个过期时间,当达到过期时间的时候,这个key就会被自动删除. 在为key设置过 ...

  7. redis list设置过期时间_面试官:你在Redis中设置过带过期时间的Key吗?

    点击上方小伟后端笔记关注公众号 每天阅读Java干货文章 熟悉Redis的同学应该知道,Redis的每个Key都可以设置一个过期时间,当达到过期时间的时候,这个key就会被自动删除. 在为key设置过 ...

  8. php jwt设置有效期,07-如何设置JWT的过期时间

    参考页面 要想设置JWT的过期时间.需要在payload中增加 exp 此字段.这个字段是JWT内部约定的.用来表示过期时间{   "iss" :"http://exam ...

  9. win10睡眠锁定计算机,win10如何设置电脑的固定时间之后自动睡眠呢?

    我们在玩儿电脑的时候,有时候会离开电脑一段时间,如果你的电脑没有关闭,那么他还将继续运行,如果你长时间的离开,这样既浪费电,又不利于电脑的养护.那么win10如何设置电脑的固定时间之后自动睡眠呢?下面 ...

最新文章

  1. 萤火虫算法_智能优化算法萤火虫算法
  2. linux 操作mysql 数据库命令_在Linux上用命令怎么连接数据库
  3. 基于 MySQL Binlog 的 Elasticsearch 数据同步实践
  4. 删除Windows Service
  5. Gartner:2022年全球IT支出将超4万亿美元,软件增速最高
  6. 印度软件开发人员_我如何辍学并在19岁时在印度找到了一份开发人员的工作
  7. android imageview 等比例放大缩小,imageView的使用(进行原样的保持和按照比例的缩放:)...
  8. 物联网监测之光纤振动传感器
  9. 将16进制的字符串转换为对应的字符
  10. 信息学奥赛一本通(C++版)在线评测系统 1205:汉诺塔问题
  11. 微信网页开发 -- 网页授权
  12. 【ArcGIS】去除影像黑边的几种方法
  13. 解析|自动驾驶的核心技术是什么?
  14. 阿里云账号注销踩坑实践记录
  15. 中国C2C电子商务模式存在的问题及对策
  16. learnopengl——Specular IBL——貌似读懂了
  17. WebService:跟孔浩学习(契约优先、Schema、WSDL、SOAP、用户管理小系统)
  18. 云南新开普智慧校园一卡通解决方案,K12智慧校园信息化建设解决方案
  19. JSP页面的初步编写
  20. 移动银行的技术、业务和商业模式

热门文章

  1. Element-UI源码之目录结构
  2. 脑洞大开的思维工具:六顶思考帽
  3. 计算机大专考试题,计算机大专考试试题一.doc
  4. 西部数据My Passport Ultra炫彩风暴引爆移动存储市场
  5. 微信小程序摄像头监控_微信小程序读取摄像头 微信调用摄像头
  6. iOS开发 学习计划图
  7. SpringBoot整合MybatisPlus实战动态SQL,java定时器实现原理
  8. 投资合伙人股份分配_创业者必看的合伙人股权分配细则
  9. RxJava+Retrofit+Mvp实现购物车(没有结算页面)
  10. 包装用超声波密封行业研究及十四五规划分析报告