awk,sed,grep,shell编程题目总结【更新ing】

试题大部分来自网络刷题，牛客网，自己学习总结等，适合于有一些awk,grep,sed和Shell编程基础的同学阅读。。如有哪里写的不对，欢迎评论区提出~

一、文本/文件处理

二、数字处理

三、日志分析

四、网络有关问题

五、业务分析

六、其他类型

crontab题目

一、文本/文件处理

1、统计一个文本文件 nowcoder.txt中每一行出现的1,2,3,4,5数字个数并且要计算一下整个文档中一共出现了几个1,2,3,4,5数字数字总数。

假设 nowcoder.txt 内容如下：
a12b8
10ccc
2521abc
9asf
你的脚本应当输出：
line1 number: 2
line2 number: 1
line3 number: 4
line4 number: 0
sum is 7

#!/bin/bash
exec<nowcoder.txt
while read line;donum=`echo $line | tr -dc [1-5] | wc -c`let col+=1echo 'line'$col 'number:'$numlet sum+=$num#sum+=$num是不会做数学运算的，只是简单的数字拼接done
echo "sum is" $sum
~
--------------------脚本测试-------------------------------
[root@node01 ~]#sh code1.sh
line1 number:2
line2 number:1
line3 number:4
line4 number:0
sum is 7

2、写一个 bash脚本以实现一个需求，去掉输入中含有this的语句，把不含this的语句输出
示例:
假设输入如下：
that is your bag
is this your bag?
to the degree or extent indicated.
there was a court case resulting from this incident
welcome to nowcoder
你的脚本获取以上输入应当输出

that is your bag

to the degree or extent indicated.
welcome to nowcoder

$awk '!/this/ {print $0}' nowcoder.txt
$grep -v 'this'
$sed '/this/d' nowcoder.txt
$awk '$0!~/this/ {print $0}' nowcoder.txt

3、输出一个文本文件 nowcoder.txt 中第5行的内容。
示例:
假设 nowcoder.txt 内容如下：
welcome
to
nowcoder
this
is
shell
code

你的脚本应当输出：
is

$awk 'NR==5 {print $1}'
$sed -n '5,5p'

4、输出一个文本文件 nowcoder.txt中空行的行号,可能连续,从1开始

示例:
假设 nowcoder.txt 内容如下：
a
bcdef
你的脚本应当输出：
3
5
7
9
10

注：cat -n会显示出行号

$cat -n nowcoder.txt|awk '{if($2=="") {print $1}}'

5、去掉一个文本文件 nowcoder.txt中的空行
示例:
假设 nowcoder.txt 内容如下：
abc567aaa
bbbccc
你的脚本应当输出：
abc
567
aaa
bbb
ccc

$sed '/^$/d'
$awk '{if(!/^$/)print $0}'
$grep -v '^$'   #grep -v 不显示匹配的行

6、统计一个文本文件 nowcoder.txt中字母数小于8的单词。
示例:
假设 nowcoder.txt 内容如下：
how they are implemented and applied in computer
你的脚本应当输出：
how
they
are

and

applied

in

$awk '{for(i=0;i<=NF;i++){if(length($i)<8) {print $i} }}'

7、实现一个需求，去掉输入中的含有B和b的单词
示例:
假设输入如下：
big
nowcoder
Betty
basic
test

你的脚本获取以上输入应当输出：
nowcoder test

$grep -v '[bB]'
$awk '$0!~/B|b/ {print $0}'
$sed '/[Bb]/d'

8、统计一个文本文件 nowcoder.txt 中每个单词出现的个数。

示例:
假设 nowcoder.txt 内容如下：
welcome nowcoder
welcome to nowcoder
nowcoder
你的脚本应当输出（以词频升序排列）：
to 1
welcome 2
nowcoder 3

$awk '{for(i=1;i<=NF;i++)arr[$i]++}END{for(i in arr) print(i,arr[i])}'

9、判断第二列是否有重复

给定一个 nowcoder.txt文件，其中有3列信息，如下实例，编写一个shell脚本来检查文件第二列是否有重复，且有几个重复，并提取出重复的行的第二列信息：
实例：
20201001 python 99
20201002 go 80
20201002 c++ 88
20201003 php 77
20201001 go 88
20201005 shell 89
20201006 java 70
20201008 c 100
20201007 java 88
20201006 go 97

结果：
2 java
3 go

$cat nowcoder.txt |tr -d '[0-9]'|awk '{for(i=1;i<=NF;i++)arr[$i]++}END{for(i in arr)if(arr[i]>1)print(arr[i],i)}'

10、转置文本文件nowcoder.txt中的文件内容。
为了简单起见，你可以假设：
你可以假设每行列数相同，并且每个字段由空格分隔
示例:
假设 nowcoder.txt 内容如下：
job salary
c++ 13
java 14
php 12
你的脚本应当输出（以词频升序排列）：
job c++ java php
salary 13 14 12

awk '{printf $1 ""}' nowcoder.txt
awk '{printf $2 ""}' nowcoder.txt

11、将字段逆序输出文件的每行

将字段逆序输出文件nowcoder.txt的每一行，其中每一字段都是用英文冒号: 相分隔。

假设nowcoder.txt内容如下：

nobody:*:-2:-2:Unprivileged User:/var/empty:/usr/bin/false

root:*:0:0:System Administrator:/var/root:/bin/sh

你的脚本应当输出

/usr/bin/false:/var/empty:Unprivileged User:-2:-2:*:nobody

/bin/sh:/var/root:System Administrator:0:0:*:root

while read line
do
echo $line| awk -F: '{for (i=NF;i>0;i--){if (i==1){printf ($1 "\n"); break}printf ($i ":")}}'
done < nowcoder.txt

12、域名进行计数排序处理

假设我们有一些域名，存储在nowcoder.txt里，现在需要你写一个脚本，将域名取出并根据域名进行计数排序处理。

假设nowcoder.txt内容如下：

http://www.nowcoder.com/index.html

http://www.nowcoder.com/1.html

http://m.nowcoder.com/index.html

你的脚本应该输出：

2 www.nowcoder.com

1 m.nowcoder.com

这个问题其实就是先提取出字段再进行排序

[root@node01 ~]#awk -F"/" '{print $3}' nowcoder1.txt | awk '{for(i=1;i<=NF;i++)arr[$i]++}END{for(i in arr)print(arr[i],i)}'|sort -nr
2 www.nowcoder.com
1 m.nowcoder.com

13、打印只有一个数字的行

假设我们有一个nowcoder.txt，现在需要你写脚本，打印只有一个数字的行。

假设nowcoder.txt内容如下

haha

1

2ab

cd

77

那么你的脚本应该输出

1

2ab

awk -F "[0-9]" '{if(NF==2 )print $0}' nowcoder1.txt

14、格式化输出

我们有一个文件nowcoder.txt，里面的每一行都是一个数字串，假设数字串为“123456789”，那么我们要输出为123,456,789。

假设nowcoder.txt内容如下

1

12

123

1234

123456

那么你的脚本输出如下

1

12

123

1,234

123,456

xargs -n1:一次读取一个参数

cat nowcoder.txt | xargs -n1  printf "%'d\n"  #给数字的千位加英文样式的分隔符，也就是逗号

15、将文本中奇数行和偶数行合并

4 ./.pyenv/plugins/python-build/test/stubs
4 ./.pyenv/plugins/python-build/test/tmp
128 ./.pyenv/plugins/python-build/test
4540 ./.pyenv/plugins/python-build
4544 ./.pyenv/plugins
12 ./.pyenv/pyenv.d/exec/pip-rehash
16 ./.pyenv/pyenv.d/exec
4 ./.pyenv/pyenv.d/install
8 ./.pyenv/pyenv.d/rehash/conda.d
8 ./.pyenv/pyenv.d/rehash/source.d
24 ./.pyenv/pyenv.d/rehash
44 ./.pyenv/pyenv.d
32 ./.pyenv/src
4 ./.pyenv/test/libexec
f1.txt

sed 高级用法中N：读下一行追加给模式空间,读取后进行替换

$sed '$!N;s/\n/ /g' f1.txt
4       ./.pyenv/plugins/python-build/test/stubs 4       ./.pyenv/plugins/python-build/test/tmp
128     ./.pyenv/plugins/python-build/test 4540    ./.pyenv/plugins/python-build
4544    ./.pyenv/plugins 12      ./.pyenv/pyenv.d/exec/pip-rehash
16      ./.pyenv/pyenv.d/exec 4       ./.pyenv/pyenv.d/install
8       ./.pyenv/pyenv.d/rehash/conda.d 8       ./.pyenv/pyenv.d/rehash/source.d
24      ./.pyenv/pyenv.d/rehash 44      ./.pyenv/pyenv.d
32      ./.pyenv/src 4       ./.pyenv/test/libexec

16、f1内的字符串翻转

cat f1.txt|rev

17、打印文件中的奇数\偶数号\指定行记录

sed :

常用选项：

-n 不自动打印

-e 多点编辑

编辑：

p 打印当前模式空间内容，追加至默认输出之后

d 删除模式空间匹配的行

=模式空间的行打印行号

!模式空间匹配的行取反处理

sed -n '1~2p' file.txt  #奇数
sed -n '2~2p' file.txt  #偶数
sed -n -e '2p' -e '6p' file.txt  #显示第二、第六行
sed -n '2!d' file.txt   #只显示第二行，除了第二行的都删掉

二、数字处理

1、写一个bash脚本以实现一个需求，求输入的一个的数组的平均值

第1行输入的数组长度N
第2~N行为数组的元素，如以下为:
数组长度为4，数组元素为1 2 9 8
示例:
4
1
2
9
8

那么平均值为:5.000(保留小数点后面3位)
你的脚本获取以上输入应当输出：
5.000

$awk '{if(NR==1) {N=$1} else{sum+=$1}} END{printf ("%.3f",sum/N)}'

这个题变一下，直接给出数组，求平均值，不给数组个数

2、统计所有进程占用内存大小的和

假设 nowcoder.txt 内容如下：
root 2 0.0 0.0 0 0 ? S 9月25 0:00 [kthreadd]
root 4 0.0 0.0 0 0 ? I< 9月25 0:00 [kworker/0:0H]
web 1638 1.8 1.8 6311352 612400 ? Sl 10月16 21:52 test
web 1639 2.0 1.8 6311352 612401 ? Sl 10月16 21:52 test
tangmiao-pc 5336 0.0 1.4 9100240 238544 ?? S 3:09下午 0:31.70 /Applications

以上内容是通过ps aux | grep -v 'RSS TTY' 命令输出到nowcoder.txt文件下面的
请你写一个脚本计算一下所有进程占用内存大小的和:

[root@node01 ~]#awk '{a+=$6} END{print(a)}' nowcoder.txt
1409900

3、ps分析-统计VSZ,RSS各自总和

假设命令运行的结果我们存储在nowcoder.txt里，格式如下：（这是ps aux命令得到的结果，其中VSZ，RSS代表的含义是：

VSZ：虚拟内存大小

RSS:resident size，常驻内存集，这个不可以放在交换分区，必须位于内存空间

）

USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND
root 1 0.0 0.1 37344 4604 ? Ss 2020 2:13 /sbin/init
root 231 0.0 1.5 166576 62740 ? Ss 2020 15:15 /lib/systemd/systemd-journald
root 237 0.0 0.0 0 0 ? S< 2020 2:06 [kworker/0:1H]
root 259 0.0 0.0 45004 3416 ? Ss 2020 0:25 /lib/systemd/systemd-udevd
root 476 0.0 0.0 0 0 ? S< 2020 0:00 [edac-poller]
root 588 0.0 0.0 276244 2072 ? Ssl 2020 9:49 /usr/lib/accountsservice/accounts-daemon
message+ 592 0.0 0.0 42904 3032 ? Ss 2020 0:01 /usr/bin/dbus-daemon --system --address=systemd: --nofork --nopidfile --systemd-activation
root 636 0.0 0.0 65532 3200 ? Ss 2020 1:51 /usr/sbin/sshd -D
daemon 637 0.0 0.0 26044 2076 ? Ss 2020 0:00 /usr/sbin/atd -f
root 639 0.0 0.0 29476 2696 ? Ss 2020 3:29 /usr/sbin/cron -f
root 643 0.0 0.0 20748 1992 ? Ss 2020 0:26 /lib/systemd/systemd-logind
syslog 645 0.0 0.0 260636 3024 ? Ssl 2020 3:17 /usr/sbin/rsyslogd -n
root 686 0.0 0.0 773124 2836 ? Ssl 2020 26:45 /usr/sbin/nscd
root 690 0.0 0.0 19472 252 ? Ss 2020 14:39 /usr/sbin/irqbalance --pid=/var/run/irqbalance.pid
ntp 692 0.0 0.0 98204 776 ? Ss 2020 25:18 /usr/sbin/ntpd -p /var/run/ntpd.pid -g -u 108:114
uuidd 767 0.0 0.0 28624 192 ? Ss 2020 0:00 /usr/sbin/uuidd --socket-activation
root 793 0.0 0.0 128812 3148 ? Ss 2020 0:00 nginx: master process /usr/sbin/nginx -g daemon on; master_process on;
www-data 794 0.0 0.2 133376 9120 ? S 2020 630:57 nginx: worker process
www-data 795 0.0 0.2 133208 8968 ? S 2020 633:02 nginx: worker process
www-data 796 0.0 0.2 133216 9120 ? S 2020 634:24 nginx: worker process
www-data 797 0.0 0.2 133228 9148 ? S 2020 632:56 nginx: worker process
web 955 0.0 0.0 36856 2112 ? Ss 2020 0:00 /lib/systemd/systemd --user
web 956 0.0 0.0 67456 1684 ? S 2020 0:00 (sd-pam)
root 1354 0.0 0.0 8172 440 tty1 Ss+ 2020 0:00 /sbin/agetty --noclear tty1 linux
root 1355 0.0 0.0 7988 344 ttyS0 Ss+ 2020 0:00 /sbin/agetty --keep-baud 115200 38400 9600 ttyS0 vt220
root 2513 0.0 0.0 0 0 ? S 13:07 0:00 [kworker/u4:1]
root 2587 0.0 0.0 0 0 ? S 13:13 0:00 [kworker/u4:2]
root 2642 0.0 0.0 0 0 ? S 13:17 0:00 [kworker/1:0]
root 2679 0.0 0.0 0 0 ? S 13:19 0:00 [kworker/u4:0]
root 2735 0.0 0.1 102256 7252 ? Ss 13:24 0:00 sshd: web [priv]
web 2752 0.0 0.0 102256 3452 ? R 13:24 0:00 sshd: web@pts/0
web 2753 0.5 0.1 14716 4708 pts/0 Ss 13:24 0:00 -bash
web 2767 0.0 0.0 29596 1456 pts/0 R+ 13:24 0:00 ps aux
root 10634 0.0 0.0 0 0 ? S Nov16 0:00 [kworker/0:0]
root 16585 0.0 0.0 0 0 ? S< 2020 0:00 [bioset]
root 19526 0.0 0.0 0 0 ? S Nov16 0:00 [kworker/1:1]
root 28460 0.0 0.0 0 0 ? S Nov15 0:03 [kworker/0:2]
root 30685 0.0 0.0 36644 2760 ? Ss 2020 0:00 /lib/systemd/systemd --user
root 30692 0.0 0.0 67224 1664 ? S 2020 0:00 (sd-pam)
root 32689 0.0 0.0 47740 2100 ? Ss 2020 0:00 /usr/local/ilogtail/ilogtail
root 32691 0.2 0.5 256144 23708 ? Sl 2020 1151:31 /usr/local/ilogtail/ilogtail

现在需要你统计VSZ，RSS各自的总和（以M兆为统计），输出格式如下

MEM TOTAL

VSZ_SUM:3250.8M,RSS_SUM:179.777M

[root@node01 ~]#awk '{if(NR!=1)sum1+=$5;sum2+=$6}END{printf("MEM TOTAL\nVSZ_SUM:%0.1fM,RSS_SUM:%0.3fM",sum1/1024,sum2/1024)}' nowcoder1.txt
MEM TOTAL
VSZ_SUM:3250.8M,RSS_SUM:179.777M

使用 printf来控制输出格式，灵活方便

4、计算100以内可以被3整除的整数之和

#!/bin/bash
for i in {1..100..3};dolet sum+=idone
echo sum=$sum
unset sum

5、统计平均成绩

[root@node01 ~]#cat score.txt
name score sex
lili 90 f
wang 92 m
lura 100 f
jack 91 m
mike 90 m
john 88 f

[root@node01 ~]#awk '{if(NR!=1)num[$NF]++;sum[$NF]+=$2}END{printf "male:%.2f\nfemale:%.2f\n",sum["m"]/num["m"],sum["f"]/num["f"]}' score.txt
male:91.00
female:92.67