日志信息抓取相关

去除日志中的空行几种方式

# grep 方式去空行
grep -v '^$' /tmp/xxx.log# sed 方式去空行
sed '/^$/d' /tmp/xxx.log# awk 方式去空行
awk '{if ($0!="") print}' /tmp/xxx.log

寻找信息先剔除最上面两行
```
awk 'NR>2' /tmp/xxx.log
```
找出存在 GET 或 POST 的行
```
grep -E 'GET|POST' /tmp/xxx.log
```
找到所有存在 error 字段所在行的前面 10 条数据，包含本行
```
grep -B 10 'error' /tmp/xxx.log
```
找出GET /order/service接口请求出现的行的次数
```
grep -c 'GET /order/service' /tmp/xxx.log
```

找出访问量最大的 top 10 的 ip

cat /tmp/xxx.log | awk -F " " '{print $2}' | sort | uniq -c | sort -nrk 1 -t' ' | awk -F" " '{print $2}' | head -10

想筛掉/tmp/xxx.log此文件中 # 打头的行和一些空白的行（包含完全空行，和只含有空格的空行）

第一个 sed 删掉 # 打头的行，第二个 sed 删掉没有任何字符的空行
```
cat /tmp/xxx.log | sed 's/^#.*$//g' | sed '/^$/d'
```
想要编辑修改此 log，把 aaa 替换成 bbb 还需备份一下原来的 log
```
sed -i.bak 's/aaa/bbb/g' /tmp/xxx.log
```
这里的 i 表示编辑了源文件了
找出日志中所有状态码不是 200 的行信息，注意状态码都是在第九列
```
awk '$9!~/200/{print $0}' /tmp/xxx.log
```

网络连接信息抓取

查看 6379 端口是否被占用
```
netstat -anp | grep '6379'
```
统计 80 端口的连接数
```
netstat -nat | grep '80' | wc -l
```
统计 httpd 协议连接数
```
ps -ef | grep 'httpd' | wc -l
```
统计已经连接并且状态为 ESTABLISHED 的连接
```
netstat -na | grep 'ESTABLISHED' | wc -l
```
指定 827 进程号 cpu 和 mem 占用率抓取
```
# 方式一
ps -o %cpu,%mem -p 827# 方式二
ps -aux | grep '827'
```
这里 o 表示以特定格式，比如这里逗号的添加；p 表示进程 PID

网站信息抓取

访问 https://blog.csdn.net/abcnull，并且过滤其中所有 href 的行
```
curl https://blog.csdn.net/abcnull | grep href
```
访问 https://blog.csdn.net/abcnull，并且过滤其中所有 href 的行，并且只拿出 href 后面双引号中的网址
```
curl https://blog.csdn.net/abcnull | grep href | grep -o 'http[^"]*'
```
讲解：这里[^]表示字符取反，这个正则表示 http 字符串后面跟上 0 个或多个不是"的字符，-o表示独立显示匹配的内容

排查死链（逐一的访问各行网址然后，将成功返回 200 OK 的 url 进行输出，失败的 url 加上 ERR 标记也进行打印）

curl https://blog.csdn.net/abcnull | grep href | grep -o 'http[^"]*' | while read line;do curl -s -I $line | grep 200 && echo $line || echo ERR $line;done

Linux三剑客练习相关推荐

linux图形图像三剑客,就linux三剑客简单归纳
就linux三剑客简单归纳:1:awk 习题1:用 awk 中查看服务器连接状态并汇总 netstat-an|awk '/^tcp/{++s[$NF]}END{for(a in s)print a,s ...
Linux实战教学笔记12:linux三剑客之sed命令精讲
第十二节 linux三剑客之sed命令精讲标签(空格分隔): Linux实战教学笔记-陈思齐 ---更多资料点我查看 1,前言我们都知道,在Linux中一切皆文件,比如配置文件,日志文件,启动文件 ...
传说中的Linux三剑客命令之grep(三剑客老幺)别人只知道了而我却做到了
传说中的Linux三剑客命令之grep(三剑客老幺)别人只知道了而我却做到了 grep(三剑客老幺) 1.介绍 Given one or more patterns, grep searches in ...
Linux三剑客学习笔记
linux三剑客文章目录 linux三剑客大纲 1.正则表达式 1.1什么是正则表达式 1.2应用场景 1.3正则表达式注意事项 1.4正则表达式符号 1.5正则VS通配符 1.6基础正则 1.6 ...
LINUX学习—AWK(LINUX三剑客）
awk是一个报告生成器,拥有强大的文本格式化能力: 也是一种文本处理工具,但其主要功能是从处理文件中按照输入的信息格式后显示的工具 awk是一种编程语言,支持条件判断.数组.循环等功能.用于在linu ...
linux三剑客有什么区别,学习Linux三剑客
Linux三剑客 grep.sed.awk被称为Linux中的"三剑客" 作用 grep适合单纯的查找或匹配文本 sec适合编辑匹配到的文本 awk适合格式化文本,对文本进行复杂的 ...
linux三剑客试题,Linux三剑客（grep、sed、awk）详解
Linux三剑客(grep.sed.awk)详解前言:本文主要介绍一下Linux中最重要的三个命令,他们在业界被誉为"三剑客",它们分别是:awk,sed,grep.它们三个侧能 ...
linux三剑客及常见命令,Linux三剑客及使用介绍
Linux 三剑客是(grep,sed,awk)三者的简称,熟练使用这三个工具可以提升运维效率.Linux 三剑客以正则表达式作为基础,而在Linux系统中,支持两种正则表达式,分别为"标准 ...
Linux三剑客用法整理
Linux三剑客指的是grep.sed.awk,其中grep擅长查找功能,sed擅长取行和替换.awk擅长取列. 一.grep grep作用是筛选,查询,文本搜索工具,根据用户指定的"模式( ...
linux三剑客awk、sed、grep与cut的总结
在Linux中,一切皆文件,对Linux的操作就是对文件的处理.对文件操作处理最重要的三个命令是grep.sed.awk,它们在业界被称为"三剑客". 三剑客的功能非常强大,但它们 ...

Linux三剑客练习

文章目录

日志信息抓取相关

网络连接信息抓取

网站信息抓取

Linux三剑客练习相关推荐

最新文章

热门文章