Elasticsearch索引自动删除
简介
脚本分2部分,1部分查找符合条件的索引名,2脚本调用1脚本,进行删除操作
脚本
查找符合条件的,默认大于30天
# coding:utf-8__author__ = 'Jipu FANG'from elasticsearch import Elasticsearch
import re
import time
import datetimenow = time.localtime()
data1 = datetime.datetime(now[0], now[1], now[2])es=Elasticsearch("http://192.168.30.135:9200")res = es.cat.indices()l = res.strip().split()
def dindex(day=30):index = []for i in l:if re.search('\d+\.\d+\.\d+$', i):itime = time.strptime(re.findall('\d+\.\d+\.\d+$', i)[0], "%Y.%m.%d")data2 = datetime.datetime(itime[0], itime[1], itime[2])d = (data1-data2).daysif int(d) > int(day):index.append(i)return indexif __name__ == '__main__':print dindex()
对符合条件的索引,进行删除操作
# coding:utf-8__author__ = 'Jipu FANG'import requests
import json
import time
from multiprocessing.dummy import Pool as ThreadPool
import re
import indexs'''
delect index url:"http://192.168.30.135:9200/app-2017.05.16" headers:'Content-Type: application/json' data:{"query": {"match_all":{}}}'
select log curl: "http://192.168.30.135:9200/_search" headers:'Content-Type: application/json' data:{"query": {"match": {"message": {"query": "ERROR|77" }}}'
'''# request API
class ES_API:def __init__(self, url, data, headers):self.url=urlself.data=dataself.headers=headersdef delete(self):r = requests.delete(url=self.url, data=json.dumps(self.data), headers=self.headers)v=r.textprint(v)def post(self):r = requests.post(url=self.url, data=json.dumps(self.data), headers=self.headers)v=r.textprint(v)# 删除索引,day保留多少天
def delete_index(day):for i in indexs.dindex(day):url = r"http://192.168.30.135:9200/%s" %(i)headers = {'Content-Type':'application/json'}data = {"query": {"match_all":{}}}C=ES_API(url, data, headers)C.delete()time.sleep(3)return "Delete indexs OK!"# 关闭索引,day保留多少天,当索引处于关闭状态,资源占用比较少
def close_index(day):for i in indexs.dindex(day):url = r"http://192.168.30.135:9200/%s/_close?pretty" %(i)headers = {'Content-Type':'application/json'}data = {}C=ES_API(url, data, headers)C.post()time.sleep(3)return "index status close ok!"delete_index(30)
time.sleep(60)
close_index(15)
转载于:https://www.cnblogs.com/GXLo/p/7405631.html
Elasticsearch索引自动删除相关推荐
- elasticsearch索引自动清理
查看所有的索引文件: curl -XGET http://localhost:9200/_cat/indices?v 删除索引文件以释放空间: curl -XDELETE http://localho ...
- elasticsearch 过期数据自动删除Java代码
es中的索引名为index-yyy-MM-dd 的形式的时候,可以根据直接日期判断来直接删除过期的整个索引 请尊重知识产权,博客原文地址http://blog.csdn.net/qq103235509 ...
- Elasticsearch索引自动套用模板
http://www.cnblogs.com/JiaK/p/6134397.html?utm_source=itdadao&utm_medium=referral http://blog.cs ...
- Elasticsearch生命周期ILM若干时间后自动删除索引index
Elasticsearch生命周期ILM若干时间后自动删除索引index (1)先手动在 数据 - 索引生命周期策略 里面 创建策略,假设这个策略名字叫 my-demo-test-policy.注意把 ...
- Kibana7.9.2设置elasticsearch索引过期时间,到期自动删除
目录 一.背景 二.设置索引生命周期策略(ILM) 三.手动给索引设置删除策略 四.查看结果 五.自动给索引添加删除策略 六.参考 一.背景 ELK系统里面存放了大量日志索引,只需要保留15天的日志索 ...
- ElasticSearch设置日志保存时间-自动删除
ElasticSearch提供索引生命周期管理(6.6版本开始),参考地址: https://www.elastic.co/guide/en/elasticsearch/reference/6.6/_ ...
- java代码删除ElasticSearch索引
用java代码删除ElasticSearch索引 public class ElasticsearchDeleteIndexTest {public static void main(String[] ...
- mongodb固定集合(Capped Collections) | MongoDB 自动删除集合中过期的数据——TTL索引
文章目录 mongodb固定集合(Capped Collections) 一.什么是mongodb固定集合(Capped Collections) 二.Capped Collections使用场景 三 ...
- MongoDB自动删除过期数据--TTL索引
db.log_events.createIndex( { "expireTime": 1 }, -字段名称 { expireAfterSeconds: 0 } ) -过期时间(单位 ...
最新文章
- python 调用linux命令-Python 调用系统命令
- c winform 上传文件到mysql_WinForm上传文件至服务器
- shiro的会话管理:介绍
- Android Sqlite
- 电影网址导航V20201218版源码
- mock方法常用框架_基于MOCK对象和JUNIT框架测试DAO
- win7IE10和win7IE11浏览器更新所需补丁全套【附安装流程】
- 按季度求和或平均值等例子
- 南邮 OJ 2029 节奏大师
- 3dmax制作光束效果教程!
- Perl/Tkx ---- tcl/tk文本组件text
- 计算机模拟电子云密度,小知识:分子动力学基本原理及应用
- Java、生成车牌号码
- OpenCV+YOLO+IP摄像头实现目标检测
- 【EmguCV系列一】EmguCV下载安装以及配置
- 技术分析:苹果之后 HTML5将改变移动互联网
- 百度发布AI 2020年十大科技趋势
- 连接QuickBooks Online实现于IOS App数据同步功能的个人记录
- numpy expand_dims函数
- B2C网站宽度和风格的探讨
热门文章
- @cacheable 是否缓存成功_缓存策略:如何使用缓存来减少磁盘IO?
- apc php7,深入解析php之apc
- C语言:--位域和内存对齐
- java 类型不可视_jvm高级特性(5)(1)(原子性,可见性,有序性,volatile,概述)
- android 地图放大缩小按钮,Android 百度最新地图隐藏 放大缩小按钮、指南针、缩放比例的方法...
- 私有环网协议MR-ring介绍
- 串口光猫应用领域及技术参数详解
- 开关量光端机产品特点及应用范围介绍
- [渝粤教育] 西南科技大学 工程力学 在线考试复习资料
- 【渝粤题库】国家开放大学2021春2772家畜环境卫生与设施题目