一、前言

在业务开发过程中，经常会在后台写一些shell脚本处理数据，但估计很多人不知道shell脚本也可以支持多进程，而且非常简单。本篇文章主要就是介绍shell实现多进程以及进程数量控制。

二、需求

为了更好的说明问题，我们结合例子讲解，假设需求就是扫描url.txt文件，然后判断里面的URL是否失效。url.txt文件的内容是一行一个URL，如：

www.baidu.com

www.51cto.com

www.ywnds.com

www.bing.cn

1

2

3

4

www.baidu.com

www.51cto.com

www.ywnds.com

www.bing.cn

单进程实现

那么shell脚本scanurl.sh可以这样写：

#!/bin/bash

if [ $# != 1 ] ;then

echo "The parameters you enter is not correct !";

exit -1;

fi

# 循环读出URL并判断状态码;

echo "执行开始: `date +%s`"

while read line

do

{

isok=`curl -I -o /dev/null -s -w %{http_code} $line`

if [ "$isok" = "200" ]; then

echo $line "OK"

else

echo $line "no"

fi

}

done < $1

echo "执行结束: `date +%s`"

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

#!/bin/bash

if[$# != 1 ] ;then

echo"The parameters you enter is not correct !";

exit-1;

fi

# 循环读出URL并判断状态码;

echo"执行开始: `date +%s`"

whilereadline

do

{

isok=`curl-I-o/dev/null-s-w%{http_code}$line`

if["$isok"="200"];then

echo$line"OK"

else

echo$line"no"

fi

}

done

echo"执行结束: `date +%s`"

那么可以执行下面的命令扫描：

$ /bin/sh scanurl.sh url.txt

1

$/bin/shscanurl.shurl.txt

但这样脚本执行非常慢，一万个URL几个小时都扫描不完。

多进程实现

改成多进程实现非常简单，只需要在do后面的大括号加&符号，在done后面加一个wait，表示父进程等待子进程退出后再退出。

#!/bin/bash

if [ $# != 1 ] ;then

echo "The parameters you enter is not correct !";

exit -1;

fi

# 循环读出URL并判断状态码;

echo "执行开始: `date +%s`"

while read line

do

{

isok=`curl -I -o /dev/null -s -w %{http_code} $line`

if [ "$isok" = "200" ]; then

echo $line "OK"

else

echo $line "no"

fi

}&

done < $1

wait

echo "执行结束: `date +%s`"

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

#!/bin/bash

if[$# != 1 ] ;then

echo"The parameters you enter is not correct !";

exit-1;

fi

# 循环读出URL并判断状态码;

echo"执行开始: `date +%s`"

whilereadline

do

{

isok=`curl-I-o/dev/null-s-w%{http_code}$line`

if["$isok"="200"];then

echo$line"OK"

else

echo$line"no"

fi

}&

done

wait

echo"执行结束: `date +%s`"

这样就能多进程并发执行了，但有个问题是进程会一下子非常多，几百上千，超过系统限制报错，下面我们就加上进程数控制。

多进程实现并控制进程数

#!/bin/bash

# 允许的进程数;

THREAD_NUM=20

# 定义描述符为9的管道;

mkfifo tmp

exec 9<> tmp

# 预先写入指定数量的换行符，一个换行符代表一个进程;

for ((i=0;i

do

echo -ne "\n" 1>&9

done

# 循环执行sleep命令;

echo "执行开始: `date +%s`"

for i in `seq 1 30`;

do

{

# 进程控制;

read -u 9

{

sleep 10

echo -ne "\n" 1>&9

}&

}

done

wait

echo "执行结束: `date +%s`"

rm tmp

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

#!/bin/bash

# 允许的进程数;

THREAD_NUM=20

# 定义描述符为9的管道;

mkfifotmp

exec9<>tmp

# 预先写入指定数量的换行符，一个换行符代表一个进程;

for((i=0;i

do

echo-ne"\n"1>&9

done

# 循环执行sleep命令;

echo"执行开始: `date +%s`"

foriin`seq130`;

do

{

# 进程控制;

read-u9

{

sleep10

echo-ne"\n"1>&9

}&

}

done

wait

echo"执行结束: `date +%s`"

rmtmp

上面的代码就可以保证子进程在指定数量了，其进程控制原理是通过管道实现的，当管道无内容可读时就不会执行。而且每个进程执行完成后都会向管道写入一个换行符，从而保证进程数是指定的。

这样就能达到我们的目的了。

最后来一个根据位置参数个数跑多进程任务，示例代码如下：

$ cat test.sh

for((i=0;$#>i;));do

{

sleep $1

if [ $? = 0 ];then

echo "$1 ok"

else

echo "$1 fail"

fi

}&

shift 1

done

1

2

3

4

5

6

7

8

9

10

11

12

$cattest.sh

for((i=0;$#>i;));do

{

sleep$1

if[$?=0];then

echo"$1 ok"

else

echo"$1 fail"

fi

}&

shift1

done

然后就可以在命令行，输入数值了:

$ bash test.sh 10 15 20 25

$ ps aux | grep sleep

root 13668 0.0 0.0 100908 572 pts/1 S 15:24 0:00 sleep 10

root 13670 0.0 0.0 100908 572 pts/1 S 15:24 0:00 sleep 15

root 13672 0.0 0.0 100908 576 pts/1 S 15:24 0:00 sleep 20

root 13673 0.0 0.0 100908 576 pts/1 S 15:24 0:00 sleep 25

1

2

3

4

5

6

$bashtest.sh10152025

$psaux|grepsleep

root136680.00.0100908572pts/1S15:240:00sleep10

root136700.00.0100908572pts/1S15:240:00sleep15

root136720.00.0100908576pts/1S15:240:00sleep20

root136730.00.0100908576pts/1S15:240:00sleep25

脚本会跟着你位置参数的个数决定开启多少个进程跑任务。

如果您觉得本站对你有帮助，那么可以支付宝扫码捐助以帮助本站更好地发展，在此谢过。