Kibana7.9.2设置elasticsearch索引过期时间,到期自动删除
目录
- 一、背景
- 二、设置索引生命周期策略(ILM)
- 三、手动给索引设置删除策略
- 四、查看结果
- 五、自动给索引添加删除策略
- 六、参考
一、背景
ELK系统里面存放了大量日志索引,只需要保留15天的日志索引,希望到期自动删除对应的索引;
本文的解决方案是给索引添加生命周期策略,不需要手动设置定时器去调用api删除;
二、设置索引生命周期策略(ILM)
- 创建一个新的策略
- 记得关掉热阶段的滚动更新
- 开启删除阶段,设置过期时间,快照可以不用
三、手动给索引设置删除策略
如图
四、查看结果
如果过期时间比较短,像我这里测试是2分钟,会显示当前阶段是delete;
如果过期时间比较长,例如15天,则会出现hot阶段,具体原因查看文章末尾的官方链接;
到了delete阶段,过几分钟就会被删除了
五、自动给索引添加删除策略
但是实际项目中日志索引是自动生成的,那应该怎么自动添加删除策略呢?
我这里使用的是logstash7.9.2把日志文件传到elasticsearch中,默认情况下logstash会有一个索引创建模板,如图
默认情况下是没有ILM策略的,我们给它设置刚刚创建的策略,这样通过logstash传输创建的索引就会附带ILM策略;
当然还有一种方法是在logstash的output模块中设置,感兴趣可以查看官方文档
https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html#plugins-outputs-elasticsearch-ilm_enabled
六、参考
- 官方文档,大赞,写得很好很详细
https://www.elastic.co/guide/en/elasticsearch/reference/7.9/index-lifecycle-management.html
Kibana7.9.2设置elasticsearch索引过期时间,到期自动删除相关推荐
- mysql bin的过期时间_Mysql设置binlog过期时间并自动删除
问题: Mysql数据库由于业务原因,数据量增长迅速,binlog日志会增加较多,占用大部分磁盘空间. 解决方案: 出于节约空间考虑,可进行删除多余binary日志,并设置定期删除操作. 1.查看bi ...
- Mysql设置binlog过期时间并自动删除
问题: Mysql数据库由于业务原因,数据量增长迅速,binlog日志会增加较多,占用大部分磁盘空间.解决方案: 出于节约空间考虑,可进行删除多余binary日志,并设置定期删除操作.1.查看binl ...
- Elasticsearch生命周期ILM若干时间后自动删除索引index
Elasticsearch生命周期ILM若干时间后自动删除索引index (1)先手动在 数据 - 索引生命周期策略 里面 创建策略,假设这个策略名字叫 my-demo-test-policy.注意把 ...
- Redis源码分析:过期key删除与设置key的过期时间
Redis中设置key过期时间与过期key的处理流程 在Redis中,可以再设置值的时候就设置该Key的过期时间,也可以通过在expire命令来设置某个key值的过期时间,并且在了解完设置过期时间之后 ...
- redis 存储数据不设置过期时间 会自动过期吗_Redis-数据淘汰策略持久化方式(RDB/AOF)Redis与Memcached区别...
Redis与Memcached区别: 两者都是非关系型数据库.主要有以下不同: 数据类型: Memcached仅支持字符串类型. redis支持:String,List,set,zset,hash 可 ...
- redis查看key的过期时间_面试官:你在Redis中设置过带过期时间的Key吗?
点击上方小伟后端笔记关注公众号 每天阅读Java干货文章 熟悉Redis的同学应该知道,Redis的每个Key都可以设置一个过期时间,当达到过期时间的时候,这个key就会被自动删除. 在为key设置过 ...
- redis list设置过期时间_面试官:你在Redis中设置过带过期时间的Key吗?
点击上方小伟后端笔记关注公众号 每天阅读Java干货文章 熟悉Redis的同学应该知道,Redis的每个Key都可以设置一个过期时间,当达到过期时间的时候,这个key就会被自动删除. 在为key设置过 ...
- php jwt设置有效期,07-如何设置JWT的过期时间
参考页面 要想设置JWT的过期时间.需要在payload中增加 exp 此字段.这个字段是JWT内部约定的.用来表示过期时间{ "iss" :"http://exam ...
- win10睡眠锁定计算机,win10如何设置电脑的固定时间之后自动睡眠呢?
我们在玩儿电脑的时候,有时候会离开电脑一段时间,如果你的电脑没有关闭,那么他还将继续运行,如果你长时间的离开,这样既浪费电,又不利于电脑的养护.那么win10如何设置电脑的固定时间之后自动睡眠呢?下面 ...
最新文章
- 萤火虫算法_智能优化算法萤火虫算法
- linux 操作mysql 数据库命令_在Linux上用命令怎么连接数据库
- 基于 MySQL Binlog 的 Elasticsearch 数据同步实践
- 删除Windows Service
- Gartner:2022年全球IT支出将超4万亿美元,软件增速最高
- 印度软件开发人员_我如何辍学并在19岁时在印度找到了一份开发人员的工作
- android imageview 等比例放大缩小,imageView的使用(进行原样的保持和按照比例的缩放:)...
- 物联网监测之光纤振动传感器
- 将16进制的字符串转换为对应的字符
- 信息学奥赛一本通(C++版)在线评测系统 1205:汉诺塔问题
- 微信网页开发 -- 网页授权
- 【ArcGIS】去除影像黑边的几种方法
- 解析|自动驾驶的核心技术是什么?
- 阿里云账号注销踩坑实践记录
- 中国C2C电子商务模式存在的问题及对策
- learnopengl——Specular IBL——貌似读懂了
- WebService:跟孔浩学习(契约优先、Schema、WSDL、SOAP、用户管理小系统)
- 云南新开普智慧校园一卡通解决方案,K12智慧校园信息化建设解决方案
- JSP页面的初步编写
- 移动银行的技术、业务和商业模式