logstash mutate split日志切分

2015-06-15 10:58:23

通过logstash可以将日志过滤

（即取到http_request值，如下）

42.62.45.23 - - [15/Jun/2015:10:27:33 +0800] "GET /www/delivery/aj.php?id=29 HTTP/1.1" 200 10309 "-" "-" "10.72.16.60:80" 0.111
72.62.45.23 - - [15/Jun/2015:10:27:33 +0800] "GET /www/delivery/jo.php?id=29 HTTP/1.1" 200 10309 "-" "-" "10.72.16.60:80" 0.111

现在要对红色框内切分出来

不难看出，红色框内链接是以问号为分割点的，

这里我们用到logstash mutate split

官方说明如下

Synopsis

This is what it might look like in your config file:

filter {split {    add_field => ... # hash (optional), default: {}    add_tag => ... # array (optional), default: []    field => ... # string (optional), default: "message"   remove_field => ... # array (optional), default: []    remove_tag => ... # array (optional), default: []    terminator => ... # string (optional), default: "\n"}
}

按语法进行切分

mutate {split => ["http_request" ,"?"]  #http_request以问号为切割点add_field => ["request_url", "%{http_request[0]}"]   #取出数组中第一个值，同时添加request_url为新的field}

重新启动logstash，

可以看出，我们的日志已经成功切分出来了

logstash mutate split日志切分相关推荐

Linux split文件切分工具的使用
Linux split文件切分工具的使用目录 Linux split文件切分工具的使用 0x00.背景介绍 0x01.split介绍 0x02.实际例子解读 1.默认情况 2.根据文件字节大小拆分 ...
logstash+elastic+kibana日志管理工具介绍及安装
logstash+elastic+kibana日志管理工具介绍及安装一. Logstash 安装 1.1 前置条件,安装了官方java 7或更新版本查看 [ldx@1511-min ~]$ jav ...
使用ELK(Elasticsearch + Logstash + Kibana) 搭建日志集中分析平台实践--转载
原文地址:https://wsgzao.github.io/post/elk/ 另外可以参考:https://www.digitalocean.com/community/tutorials/how- ...
Linux/Centos Tomcat 配置日志切分以及脚本自动清理
Tomcat是Apache软件基金会(Apache Software Foundation)的Jakarta项目中的一个核心项目,由Apache,Sun和其他一些公司及个人共同开发而成.由于有了Sun ...
Centos6.5使用ELK(Elasticsearch + Logstash + Kibana) 搭建日志集中分析平台实践
Centos6.5安装Logstash ELK stack 日志管理系统概述: 日志主要包括系统日志.应用程序日志和安全日志.系统运维和开发人员可以通过日志了解服务器软硬件信息.检查配置过程中的错误 ...
为什么我们需要Logstash,Fluentd等日志摄取器？
前文传送门:如何利用NLog输出结构化日志,并在Kibana优雅分析日志? 疑问:既然应用能直接向ElasticSearch写日志,为什么我们还需要Logstash,Fluentd等日志摄取器?而且这 ...
Elasticsearch + Logstash + Kibana 搭建日志集中分析平台实践
为什么80%的码农都做不了架构师?>>> 比较详细的搭建教程:https://segmentfault.com/a/1190000003689999 Elasticsearch ...
logstash收集syslog日志
logstash收集syslog日志注意:生产用syslog收集日志!!! 编写logstash配置文件 #首先我用rubydebug测试数据 [root@elk-node1 conf.d]# ca ...
logstash收集nginx日志
1.配置nginx日志编辑nginx.conf文件 vim /etc/nginx/nginx.conf 在http节点下配置如下 log_format json '{"@timestamp ...
ELK下logstash收集java日志,多行合并成一行
介绍使用codec的multiline插件实现多行匹配,这是一个可以将多行进行合并的插件,而且可以使用what指定将匹配到的行与前面的行合并还是和后面的行合并. 1.java日志收集测试 input ...

logstash mutate split日志切分

Synopsis

logstash mutate split日志切分相关推荐

最新文章

热门文章