es数据定时清理_elasticsearch索引自动清理
一 es 基本操作
查看所有的索引文件:
curl -XGET http://localhost:9200/_cat/indices?v
GET /_cat/indices?v
DELETE/filebeat-2018.07.21
二 挂crontab定时删es数据
#!/bin/bash
# filename:deleteEsData.sh
# 每天2点定时删除es中指定日期的数据
# crontab:0 2 * * * sh /Application/enterprise/deengine/deleteEsData.sh >> /Application/enterprise/deengine/run.log 2>&1# 如今天是2015-09-09,删除3天前数据,就是删除2015-09-06的数据
# createdate:20150909# author: yuanlong.zhou
today=`date +%Y-%m-%d`;
echo"今天是${today}"# 获得要删除的日期
# 不指定参数时,默认删除30天前以aaa-开头的数据(因为是凌晨删除,所以不含当天)
daynum=5# 当参数个数大于1时,提示参数错误if [ $# -gt 1] ;then
echo"要么不传参数,要么只传1个参数!"exit101;
fi
# 当参数个数为1时,获取指定的参数if [ $# == 1] ;then
daynum=$1fi
esday=`date -d '-'"${daynum}"' day' +%Y-%m-%d`;
echo"${daynum}天前是${esday}"curl-XDELETE http://localhost:9200/aaa-*-${esday}
echo "${today}执行完成"# echo curl-XDELETE http://localhost:9200/aaa-*-${esday}
三 logstash 安装multiline
/bin/logstash-plugin.bat install logstash-filter-multiline
配置如下:
filter {
multiline {
pattern=> "^\d{4}-\d{1,2}-\d{1,2}\s\d{1,2}:\d{1,2}:\d{1,2}"negate=> truewhat=> "previous"}
}
四 windows启动logstash(6.2.3)报找不到或无法加载主类问题解决
错误信息:
解决办法:
用editplus或其他工具打开logstash.bat,找到这行内容
给%CLASSPATH%加上双引号,内容如下:
%JAVA% %JAVA_OPTS% -cp "%CLASSPATH%" org.logstash.Logstash %*
保存重启即可,但有可能你再下次重启时出现如下错误:
该错误原因应该是当前logstash安装目录包含空格造成的,两种解决办法
第一种方法. 修改logstash的安装目录
第二种方法. 打开logstash.bat,找到如下内容
修改目录:"%LS_HOME%\logstash-core\lib\jars\*.jar" 为其他目录,别忘了把文件也拷贝过去,如:
for %%i in ("E:\logstash-core\lib\jars\*.jar") do (
call :concat "%%i"
)
es数据定时清理_elasticsearch索引自动清理相关推荐
- es数据定时清理_一种基于ELK的数据自动清理方法与流程
本发明涉及涉及ELK.Shell.Kafka.Freemarker等技术领域,尤其涉及一种基于ELK的数据自动清理方法. 背景技术: ElasticSearch是一个基于Lucene的全文搜索服务.它 ...
- linux清理缓存_自动清理linux系统内存和Cache方法
1.手动清理内存和Cache方法 Linux下清理内存和Cache方法 /proc/sys/vm/drop_caches 频繁的文件访问会导致系统的Cache使用量大增 $ free -m total ...
- Linux下清理日志及自动清理
liunx下清理日志 一.find 对应目录 -mtime +天数 -name "文件名" -exec rm -rf {} \; 此处我以tomcat下 logs目录下日志为例做演 ...
- java es 数据批量导入_elasticsearch批量数据导入和导出
之前使用ES的时候建表Type时有个字段的类型搞错了.以至于用API查询时出错.所以就研究一下ES API做了一下ES批量导出和导入重构了Type 1:Java API批量导出 Settings se ...
- elasticsearch索引自动清理
查看所有的索引文件: curl -XGET http://localhost:9200/_cat/indices?v 删除索引文件以释放空间: curl -XDELETE http://localho ...
- java es 数据批量导入_ElasticSearch—Java批量导入导出
网上找了很多,我的es是2.3.5版本,网上的客户端最少都是5.x版本,所以没有能用的.自己整合了一下 2.3.5版本的. pom文件: org.elasticsearch elasticsearch ...
- es的基本操作(创建索引,添加数据,删除数据,判断索引是否存在)
1.创建索引+ik分词器 /*** 创建es索引* $indexName 索引名称*/public function createEsIndex($indexName){$esClient = $th ...
- 怎样清理计算机空间,怎么清理电脑内存空间不足
191路由网导读:原标题:"怎么清理电脑内存,详细教您怎么给电脑清理内存"最新电脑问题教程分享. - 来源:191路由网 - 编辑:爱装机. 我们都知道现在电脑对于学生的学习也是具 ...
- elasticsearch服务器定时自动清理日志索引
突然想到项目中每天要生产各个环境的索引...时间一长会越来越多. 这里写一个定时自动清理elasticsearch的脚本 首先.我们进入到elasticsearch的索引目录中去 发现索引数据是真 ...
- 自动清理 ES 历史数据
目录 一. 背景 二.解决方案 三.实现操作 三.合并定时任务的例子 一. 背景 随着业务的增长和时间的变化,ES 数据库的存储空间越来越大,存储数据多数为系统监控日志,保存的数据不需要长期保留,多数 ...
最新文章
- jQuery选择器和选取方法 http://www.cnblogs.com/MaxIE/p/4078869.html
- 【Kaggle-MNIST之路】两层的神经网络Pytorch(改进版)(二)
- delphi 数字识别_基于STM32单片机的车牌识别
- 算法复习第四章动态规划
- php通过js发送请求数据,使用原生javascript发送ajax请求数据的步骤
- 让电脑说话代码_让您的代码为您说话
- 两年不工作、月花200块,90后躺平学大师已有了一批「信徒」
- Linux2.6信号管理
- nginx编译安装和yum安装那个更好?
- sql统计表中各类型金额_各类型模具设计中“脱料结构”种类、使用范围揭秘,值得收藏...
- 翟山鹰“生态宇宙”重磅首发 缔造超级共赢生态
- NTP客户端配置-Windows时间同步设置
- TCP TIME_WAIT解决方案
- 长春哪个学校可以学习计算机编程的,长春编程学习,长春学编程的学校,长春学编程自学好还是报班好 - IT教育频道...
- 港科喜讯 | 香港科大两位教授荣获立陶宛中央银行颁发的最佳经济学论文奖
- 图片题注和章节不对应
- rtge更好发挥士大夫广告的通过合同
- Java代码如何在虚拟机中运行?
- 术语-BPM:BPM
- Android 性能优化必知必会