Shell脚本之文本处理三剑客——awk
目录
一.awk是什么？
1.awk基本介绍
2.基本格式
3.工作原理
4.常见的内建变量（可直接用）
二.awk相关示例
1.打印文本内容
1.1 打印磁盘已经使用情况
1.2 打印字符串
1.3 打印字符串确定文件有多少行
2. 根据$n以及NR提取字段
2.1 提取ip地址
2.2 提取ipv6地址
3. 根据选项-F指定分隔符
3.1 打印/etc/passwd所有用户名
3.2 打印多列内容
3.3 打印磁盘已经使用情况，去除%
3.4 取出文本中的ip地址及时间
3.5 取出文本中的主机并放回
4. 根据关键字提取所在行
4.1 提取/etc/passwd 以root开头的行
4.2 提取/etc/passwd root所在的行
4.3 提取/etc/passwd nologin结尾的行
5. 使用BEGIN输出包含指定字符的行并统计有多行
6.FS：指定每行文本的字段分隔符，默认为空格或制表符，与-F相同
7.NF：当前处理行的整行内容
7.1 当前处理的行的字段个数
7.2 打印出每行最后一个字段
7.3 打印出每行倒数第二个字段
8.NR：当前处理行的行号
8.1 当前处理的行的行号
8.2 NR==n代表行号等于什么
8.3 NR%2==0取偶数行
8.4 NR%2==1取奇数行
8.5 NR==1,NR==4取区间行
8.6 取UID数值范围$n>1000
三.试题练习
1. 统计/etc/fstab文件中每个文件系统类型出现的次数
2. 统计/etc/fstab文件中每个单词出现的次数
3.将某日志文件访问用户的IP地址，在第三列冒号隔开，统计出访问量前十的IP地址
4.提取出字符串Yd$C@M05MB%9&Bdh7dq+YVixp3vpw中的所有数字
一.awk是什么？
1.awk基本介绍
AWK 是一种处理文本文件的语言，是一个强大的文本分析工具
可以在无交互的模式下实现复杂的文本操作
相较于sed常作用于一整个行的处理，awk则比较倾向于一行当中分成数个字段来处理，因为awk相当适合小型的文本数据。
- 之所以叫 AWK 是因为其取了三位创始人
Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name的首字符。
2.基本格式
awk [选项] ‘模式条件{操作}’ 文件1 文件2...
awk -f|-v 脚本文件 文件1 文件.....3.工作原理
逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中， 并按模式或者条件执行编辑命令。
sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个"字段"然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中，可以使用逻辑操作符"&&“表示"与”、"“表示"或”、"!“表示"非”;还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。
4.常见的内建变量（可直接用）
FS∶ 列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与"-F"作用相同
NF∶ 当前处理的行的字段个数。
NR∶ 当前处理的行的行号（序数）。
$0∶当前处理的行的整行内容。
$n∶ 当前处理行的第n个字段（第n列）。
FILENAME∶ 被处理的文件名。
RS∶ 行分隔符。awk从文件上读取资料时，将根据RS的定义把资料切割成许多条记录，而awk一次仅读入一条记录，以进行处理。预设值是’\n’
$NF：最后一段
$(NF-1)：倒数第二段
二.awk相关示例
1.打印文本内容
awk可以将自动将多个空格压缩成一个空格
打印字符串需要加双引号
1.1 打印磁盘已经使用情况
df |awk '{print $5}'
1.2 打印字符串
awk '{print "hello"}'
1.3 打印字符串确定文件有多少行
awk '{print "hello"}' /etc/fstab awk '{print "hello"}' /etc/fstab |wc -lcat /etc/fstab |wc -l
2. 根据$n以及NR提取字段
$n,代表提取第几列
2.1 提取ip地址
ifconfig ens33|sed -n '2p'|awk '{print $2}'ifconfig ens33 |awk 'NR==2{print $2}'
2.2 提取ipv6地址
ifconfig ens33|sed -n '3p'|awk '{print $2}'ifconfig ens33 |awk 'NR==3{print $2}'
3. 根据选项-F指定分隔符
3.1 打印/etc/passwd所有用户名
cat /etc/passwd|awk -F":" '{print $1}'
或
cat /etc/passwd|awk -F: '{print $1}'
3.2 打印多列内容
打印时逗号可以表示空格，如果使用“：”或者“+”，需要将特殊符号加上双引号当成字符串打印
cat /etc/passwd|awk -F":" '{print $1,$2}'cat /etc/passwd|awk -F":" '{print $1":"$2}'cat /etc/passwd|awk -F":" '{print $1"+"$2}'
3.3 打印磁盘已经使用情况，去除%
#使用两条awk命令
df|awk '{print $5}'|awk -F% '{print $1}'#使用一次awk命令
df|awk -F"[ %]+" '{print $5}'##也可以使用（ |%）代表或者
df|awk -F"( |%)+" '{print $5}'
3.4 取出文本中的ip地址及时间
##文本内容##
vim test.txt 58.87.87.99 - - [09/Jun/2020:03:42:43 +0800] "POST /wp-cron.php?
doing_wp_cron=1591645363.2316548824310302734375 HTTP/1.1" ""sendfileon
128.14.209.154 - - [09/Jun/2020:03:42:43 +0800] "GET / HTTP/1.1" ""sendfileon
64.90.40.100 - - [09/Jun/2020:03:43:11 +0800] "GET /wp-login.php HTTP/1.1" ""sendfileo##提取##
cat test.txt |sed '2d'|awk -F"[[ ]" '{print $5"\t"$1}'
3.5 取出文本中的主机并放回
##文本内容##
vim host.txt 1 www.kgc.com
2 mail.kgc.com
3 ftp.kgc.com
4 linux.kgc.com
5 blog.kgc.com##提取##
cat host.txt |awk -F "[. ]" '{print $2}' >>host.txt
4. 根据关键字提取所在行
4.1 提取/etc/passwd 以root开头的行
cat /etc/passwd |awk -F":" '/^root/{print}'
4.2 提取/etc/passwd root所在的行
cat /etc/passwd |awk -F: '/root/{print}'
4.3 提取/etc/passwd nologin结尾的行
cat /etc/passwd |awk -F":" '/nologin$/{print}' ##如果提取/sbin/nologin,则需要\转义/
cat /etc/passwd |awk -F":" '/\/sbin\/nologin$/{print}'
5. 使用BEGIN输出包含指定字符的行并统计有多行
BEGIN模式表示，在处理指定的文本之前，需要先执行BEGIN模式中指定的动作;
awk再处理指定的文本，之后再执行END模式中指定的动作；
END{ } 语句块中，往往会放入打印结果等语句。
#先定义变量x，表示执行多少次
awk 'BEGIN {x=0};/\/bin\/bash$/;{x++};END{print x}' /etc/passwd
6.FS：指定每行文本的字段分隔符，默认为空格或制表符，与-F相同
awk -v FS=: '{print $1FS$3}' /etc/passwd
7.NF：当前处理行的整行内容
7.1 当前处理的行的字段个数
cat /etc/passwd |awk -F: '{print NF}'
7.2 打印出每行最后一个字段
cat /etc/passwd |awk -F: '{print $NF}'
7.3 打印出每行倒数第二个字段
cat /etc/passwd |awk -F: '{print $(NF-1)}'
df|awk '{print $(NF-1)}'
8.NR：当前处理行的行号
8.1 当前处理的行的行号
#NR写在后面则在后面显示行号
#awk -F: '{print $1,NR}' /etc/passwd
root 1
bin 2
daemon 3
adm 4
lp 5
sync 6
shutdown 7
halt 8#可以用制表符
awk -F: '{print $1"\t"NR}' /etc/passwd
root 1
bin 2
daemon 3
adm 4
lp 5#NR写在前面则在前面显示行号
awk -F: '{print NR"\t"$1}' /etc/passwd
1 root
2 bin
3 daemon
4 adm
5 lp
8.2 NR==n代表行号等于什么
awk -F: 'NR==2 {print $1}' /etc/passwd
8.3 NR%2==0取偶数行
awk -F: 'NR%2==0 {print $1}' /etc/passwd
8.4 NR%2==1取奇数行
awk -F: 'NR%2==1 {print $1}' /etc/passwd
8.5 NR==1,NR==4取区间行
awk -F: 'NR==1,NR==4 {print $1}' /etc/passwd
8.6 取UID数值范围$n>1000
#取uid大于1000的行
awk -F: '$3>1000 {print}' /etc/passwd#取uid大于等于1000的行
awk -F: '$3>=1000 {print}' /etc/passwd
三.试题练习
1. 统计/etc/fstab文件中每个文件系统类型出现的次数
cat /etc/fstab |awk '/^[^#]/{print}'|awk '{print $3}'|sort |uniq -c
2. 统计/etc/fstab文件中每个单词出现的次数
grep -Eo "\b[[:alpha:]]+\b" /etc/fstab |sort|uniq -c|sort
3.将某日志文件访问用户的IP地址，在第三列冒号隔开，统计出访问量前十的IP地址
cat log.txt |awk -F: '{print $3}' |sort |uniq -c |sort -rn |head4.提取出字符串Yd$C@M05MB%9&Bdh7dq+YVixp3vpw中的所有数字
echo "Yd$C@M05MB%9&Bdh7dq+YVixp3vpw"|grep -E -o "[0-9]+"
Shell脚本之文本处理三剑客——awk相关推荐
- shell编程之文本处理工具awk
shell编程之文本处理工具awk 文章目录 shell编程之文本处理工具awk 一.awk介绍 1. awk概述 2. awk能干啥? 二.awk使用方式 1. ==命令行模式使用== ㈠ 语法结构 ...
- mysql shell可视化_shell编程系列24--shell操作数据库实战之利用shell脚本将文本数据导入到mysql中...
shell编程系列24--shell操作数据库实战之利用shell脚本将文本数据导入到mysql中 利用shell脚本将文本数据导入到mysql中 需求1:处理文本中的数据,将文本中的数据插入到mys ...
- shell脚本三大文本处理工具
[-]目录 一简介 二grep命令 格式选项 grep与正则表达式结合 egrep和fgrep 三sed命令 sed命令基本用法 sed文本定位 sed基本编辑命令 sed高级编辑命令 四awk命令 ...
- 基于shell 脚本处理文本数据流程
本次数据清洗场景: 根据数据库表imgs[记录有图片基本信息,和相应图片路径]记录清洗出对应图片信息(包括:briefImg[简图]/fullImg[全图])以及每天的csv文件. 目标目录存在较多各 ...
- 文本处理三剑客awk的使用
1.awk awk是一种编程语言,用于在Linux/unix下对文本和数据进行处理.数据可以来自标准输入.一个或多个文件,或其他命令的输出.awk支持函数.正则表达式.数组等先进功能. awk处理文本 ...
- shell脚本的文本处理工具
一.cut cut 的工作就是"剪",具体的说就是在文件中负责剪切数据用的.cut 命令从文件的每 一行剪切字节.字符和字段并将这些字节.字符和字段输出. 1)基本用法 cut [ ...
- shell脚本修改文本中匹配行之前的行的方法
原创文件,欢迎阅读,禁止转载. 例子中是把 finish 前一行的 "yes" 改成 "YES" 有一个方法就是利用sed+awk一起来完成. zjk@zjk: ...
- 【shell脚本练习】grep sed awk
下面是简单学习之后做得练习题,如果有不对的或者说解题思路不好的,请交流啊. Grep 练习 文件名grepfile Steve Blenheim:238-923-7366:95 Latham Lane ...
- 使用shell脚本更新文本数据至mysql数据库
1.getgamedesc.sh 功能:插入gamedesc.txt文本中的,以","分割的第1列数据gid和第6列数据desc,到线网mysql数据库中(当字段$des ...
最新文章
- eclipse中YAML文件编辑插件：Yaml Editor插件安装
- sql 中 limit 与 limit，offset连用的区别
- Codevs 2756 树上的路径
- 未来的语音世界——中国智能语音市场分析
- wpf项目中类库内新建用户控件和自定义控件的问题
- 数组中的对象的特征值提取生成新对象实现方法
- Nginx——配置负载均衡
- python数据分析 活用pandas库_Python数据分析:活用Pandas库
- 人工智能教程1---科普人工智能
- Java实现MySql分页查询
- javascript的ActiveXObject造成“Automation服务器不能创建对象”
- vscode 使用手册
- pe系统进服务器2008,怎么用U盘启动win server 2008 pe？
- C语言编程入门训练（一）
- nii格式转化为png格式或者img格式
- 下次面试再一上来就问我线程有哪些状态，我上去就是给他一 jio
- 微信小程序相关操作示例
- R语言 按照行名称取行
- adobe xd_如何在Adobe XD中创建Finance App UI设计
- 对12306车票数据的提取