我试了试用 SQL查 Linux日志,好用到飞起
最近发现点好玩的工具,迫不及待的想跟大家分享一下。
大家平时都怎么查Linux
日志呢?像我平时会用tail
、head
、cat
、sed
、more
、less
这些经典系统命令,或者awk
这类三方数据过滤工具,配合起来查询效率很高。但在使用过程中有一点让我比较头疼,那就是命令参数规则太多了,记的人脑壳疼。
那查日志有没有一种通用的方式,比如用SQL查询,毕竟这是程序员都比较熟悉的表达式。
今天分享的工具q,就实现了以写SQL的方式来查询、统计文本内容,一起看看这货到底有什么神奇之处。
搭个环境
q是一个命令行工具,允许我们在任意文件或者查询结果,比如可以在ps -ef
查询进程命令的结果集上,直接执行SQL语句查询。
宗旨就是文本即数据库表,额~,当然这句话是我自己理解的,哈哈哈
它将普通文件或者结果集当作数据库表,几乎支持所有的SQL结构,如WHERE
、GROUP BY
、JOINS
等,支持自动列名和列类型检测,支持跨文件连接查询,这两个后边详细介绍,支持多种编码。
安装比较简单,在Linux CentOS
环境,只要如下三步搞定,Windows
环境更是只需安装个exe
就可以用了。
wget https://github.com/harelba/q/releases/download/1.7.1/q-text-as-data-1.7.1-1.noarch.rpm #下载版本sudo rpm -ivh q-text-as-data-1.7.1-1.noarch.rpm # 安装q --version #查看安装版本
“官方文档:https://harelba.github.io/q
语法
q支持所有SQLite
SQL语法,标准命令行格式q + 参数命令 + "SQL"
q <命令> "<SQL>"
我要查询myfile.log
文件的内容,直接q "SELECT * FROM myfile.log"
。
q "SELECT * FROM myfile.log"
q不附加参数使用是完全没有问题的,但利用参数会让显示结果更加美观,所以这里简单了解一下,它的参数分为 2种。
input
输入命令:指的是对要查询的文件或结果集进行操作,比如:-H
命令,表示输入的数据包含标题行。
q -H "SELECT * FROM myfile.log"
在这种情况下,将自动检测列名,并可在查询语句中使用。如果未提供此选项,则列将自动命名为cX,以c1起始以此类推。
q "select c1,c2 from ..."
output
输出命令:作用在查询输出的结果集,比如:-O
,让查询出来的结果显示列名。
[root@iZ2zebfzaequ90bdlz820sZ software]# ps -ef | q -H "select count(UID) from - where UID='root'"
104
[root@iZ2zebfzaequ90bdlz820sZ software]# ps -ef | q -H -O "select count(UID) from - where UID='root'"
count(UID)
104
还有很多参数就不一一列举了,感兴趣的同学在官网上看下,接下来我们重点演示一下使用SQL如何应对各种查询日志的场景。
玩法贼多
下边咱们一起看几个查询日志的经常场景中,这个SQL该如何写。
1、关键字查询
关键字检索,应该是日常开发使用最频繁的操作,不过我个人认为这一点q
并没有什么优势,因为它查询时必须指定某一列。
[root@iZ2zebfzaequ90bdlz820sZ software]# q "select * from douyin.log where c9 like '%待解析%'"
2021-06-11 14:46:49.323 INFO 22790 --- [nio-8888-exec-2] c.x.douyin.controller.ParserController : 待解析URL :url=https%3A%2F%2Fv.douyin.com%2Fe9g9uJ6%2F
2021-06-11 14:57:31.938 INFO 22790 --- [nio-8888-exec-5] c.x.douyin.controller.ParserController : 待解析URL :url=https%3A%2F%2Fv.douyin.com%2Fe9pdhGP%2F
2021-06-11 15:23:48.004 INFO 22790 --- [nio-8888-exec-2] c.x.douyin.controller.ParserController : 待解析URL :url=https%3A%2F%2Fv.douyin.com%2Fe9pQjBR%2F
2021-06-11 2
而用grep
命令则是全文检索。
[root@iZ2zebfzaequ90bdlz820sZ software]# cat douyin.log | grep '待解析URL'
2021-06-11 14:46:49.323 INFO 22790 --- [nio-8888-exec-2] c.x.douyin.controller.ParserController : 待解析URL :url=https%3A%2F%2Fv.douyin.com%2Fe9g9uJ6%2F
2021-06-11 14:57:31.938 INFO 22790 --- [nio-8888-exec-5] c.x.douyin.controller.ParserController : 待解析URL :url=https%3A%2F%2Fv.douyin.com%2Fe9pdhGP%2F
2、模糊查询
like
模糊搜索,如果文本内容列有名字直接用列名检索,没有则直接根据列号c1、c2、cN。
[root@iZ2zebfzaequ90bdlz820sZ software]# cat test.log
abc
2
3
4
5
23
24
25
[root@iZ2zebfzaequ90bdlz820sZ software]# q -H -t "select * from test.log where abc like '%2%'"
Warning: column count is one - did you provide the correct delimiter?
2
23
24
25
3、交集并集
支持UNION
和UNION ALL
操作符对多个文件取交集或者并集。
如下建了test.log
和test1.log
两个文件,里边的内容有重叠,用union
进行去重。
q -H -t "select * from test.log union select * from test1.log"[root@iZ2zebfzaequ90bdlz820sZ software]# cat test.log
abc
2
3
4
5
[root@iZ2zebfzaequ90bdlz820sZ software]# cat test1.log
abc
3
4
5
6
[root@iZ2zebfzaequ90bdlz820sZ software]# q -H -t "select * from test.log union select * from test1.log"
Warning: column count is one - did you provide the correct delimiter?
Warning: column count is one - did you provide the correct delimiter?
2
3
4
5
6
4、内容去重
比如统计某个路径下的./clicks.csv
文件中,uuid
字段去重后出现的总个数。
q -H -t "SELECT COUNT(DISTINCT(uuid)) FROM ./clicks.csv"
5、列类型自动检测
注意:q会理解每列是数字还是字符串,判断是根据实数值比较,还是字符串比较进行过滤,这里会用到-t
命令。
q -H -t "SELECT request_id,score FROM ./clicks.csv WHERE score > 0.7 ORDER BY score DESC LIMIT 5"
6、字段运算
读取系统命令查询结果,计算/tmp
目录中每个用户和组的总值。可以对字段进行运算处理。
sudo find /tmp -ls | q "SELECT c5,c6,sum(c7)/1024.0/1024 AS total FROM - GROUP BY c5,c6 ORDER BY total desc"[root@iZ2zebfzaequ90bdlz820sZ software]# sudo find /tmp -ls | q "SELECT c5,c6,sum(c7)/1024.0/1024 AS total FROM - GROUP BY c5,c6 ORDER BY total desc"
www www 8.86311340332
root root 0.207922935486
mysql mysql 4.76837158203e-06
7、数据统计
统计系统拥有最多进程数的前 3个用户ID,按降序排序,这就需要和系统命令配合使用了,先查询所有进程再利用SQL筛选,这里的q命令就相当grep
命令。
ps -ef | q -H "SELECT UID,COUNT(*) cnt FROM - GROUP BY UID ORDER BY cnt DESC LIMIT 3"[root@iZ2zebfzaequ90bdlz820sZ software]# ps -ef | q -H "SELECT UID,COUNT(*) cnt FROM - GROUP BY UID ORDER BY cnt DESC LIMIT 3"
root 104
www 16
rabbitmq 4
[root@iZ2zebfzaequ90bdlz820sZ software]# ps -ef | q -H -O "SELECT UID,COUNT(*) cnt FROM - GROUP BY UID ORDER BY cnt DESC LIMIT 3"
UID cnt
root 110
www 16
rabbitmq 4
我们看到加与不加-O
命令的区别就是否显示查询结果的标题。
8,连文件查
一般情况下,我们的日志文件会按天分割成很多个固定容量的子文件,在没有统一的日志收集服务器的情况下,如果不给个报错时间区间去查一个关键词,那么无异于大海捞针。
如果可以将所有文件内容合并后在查就会省事很多,q支持将文件像数据库表那样联合查询。
q -H "select * from douyin.log a join douyin-2021-06-18.0.log b on (a.c2=b.c3) where b.c1='root'"
总结
看完可能会有人抬杠:q
写这么多代码直接用awk
不香吗?额~ 介绍这个工具的初衷并不是说要替换现有哪种工具,而是多提供一种更为便捷的查日志方法。
我也有在用awk
确实很强大没得说,但这里边涉及到一个学习成本的问题,琳琅满目的命令、匹配规则想玩转还是要下点功夫的。而对于新手程序员稍微有点数据库经验,写SQL问题都不大,上手q
则会容易的多。
有道无术,术可成;有术无道,止于术
欢迎大家关注Java之道公众号
好文章,我在看❤️
我试了试用 SQL查 Linux日志,好用到飞起相关推荐
- Linux日志巡检之日常操作及安全审计
一.背景 本文专门针对Linux系统运维当中相关日志,总结概述经常要执行的操作,以备参考辅助. 二.常见日志 /var/log/message 系统启动后的信息和错误日志,是Red Hat Linux ...
- rsync服务同步,linux日志,screen工具
2019独角兽企业重金招聘Python工程师标准>>> 10.32/10.33 rsync通过服务同步 10.34 linux系统日志 10.35 screen工具 扩展 Linux ...
- linux日志系统分析:rsyslog、syslog、klog
1. syslogd和rsyslogd syslogd是Linux下的一个记录日志文件服务.从结构来说,可以理解为这个服务下面有一系列的子服务,例如mail.auth.cron.kern等等,这些子服 ...
- 位于/var/log目录下的20个Linux日志文件
位于/var/log目录下的20个Linux日志文件[译] from:http://buptguo.com/2014/01/16/linux-var-log-files/ 原文地址:20 Linux ...
- linux日志分析与痕迹清理
linux日志路径 auth.log/secure 用户登录日志以及其权限 btmp/wtmp 登录失败记录/用户登录记录 lastlog/faillog 最后一次登录记录/登录失败记录 /var/l ...
- linux日志使用方法,Linux 日志终极指南
原标题:Linux 日志终极指南 (点击上方公众号,可快速关注) 译者:伯乐在线 - 道法子 Linux 日志分析 虽然提取的时候,不总是和你想的一样简单,但是日志中有大量信息在等着你.在这部分,我们 ...
- Sql Server事务日志
本文导读:SQL Server中的数据库都是由一或多个数据文件以及一或多个事务日志文件组成的.SQL Server事务日志主要是用来记录所有事务对数据库所做的修改,SQL SERVER利用事务日志来确 ...
- Linux日志系统分析:rsyslog、syslog和klog
ubuntu版本:ubuntu-gnome-16.04-desktop-amd64,gnome版 --------------------------------------------------- ...
- 基于事件驱动架构构建微服务第5部分:容器化(Web Api Core 和 SQL Server Linux)
原文链接:https://logcorner.com/building-microservices-through-event-driven-architecture-part5-dockerizat ...
最新文章
- 网站运营活动总结报告模板
- 学Python一定要知道的十段经典代码
- 【渝粤题库】广东开放大学民法 形成性考核
- php检测一个变量是否设置函数,php如何判断变量是否有设置的函数
- Linux 启动流程即init程序分析--2
- 微软从安卓那里获取的盈利比重WinPhone 7还多
- UI设计素材干货|日历也要设计,模板都给你们整理好了
- OpenGL学习笔记:第一个OpenGL程序完全注释
- cc java区别_cC和C++和java的问题有啥区别?
- Leetcode刷题笔记(部分非原创)(1-20题)
- [洛谷P3381]【模板】最小费用最大流
- 信息安全法律法规知识点汇总(郑大信安个人总结版)
- Python数据分析中的训练集、验证集、测试集
- 基准电压——Reference voltage
- Tip | 使用GitHubDesktop提交 本地existing项目
- 抑郁症/新药等最新研究成果进展(2021年10月)
- 荣耀Magicbook14 BIOS更新无法开机
- C#的OpenFileDialog和SaveFileDialog的常见用法
- C++整型(short,int,long,longlong)
- Oracle-11:联合查询
热门文章
- chart.js x轴显示不全_机床大讲堂第67讲——基于FANUC系统的数控铣床增加第四轴的方法...
- mysql语句编码_使用SQL语句操作MYSQL字符编码
- 计算机直线的绘制实验报告,dda画直线实验报告
- fastboot no permission
- android P监听SD卡热插拔执行symlink软链接的实现
- Android实现飘动的旗帜效果实例
- apache shiro版本查看_深入学习SpringBoot(四):springboot整合shiro
- 如何根据接口写一个客户端进行发单测试?
- 再次提醒自己测试过程中的侥幸导致失败
- python实现8大排序算法