温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

shell脚本多线程实现方式

发布时间:2020-07-31 19:49:01 来源:网络 阅读:212 作者:wx57eb8a43be716 栏目:开发技术

shell脚本多线程实现
在使用shell 脚本时,碰到了顺序执行太慢的情况,因此考虑使用多线程方式,以提高效率。
具体做法是使用 &+wait 达到多线程的效果,下面请看对比。

  1. 顺序执行
    执行3次没次等待4秒,共计耗时12秒
    代码:
    #/bin/bash
    date
    for num in seq 1 3
    do
    {
    echo "sleep 4"
    sleep 4
    }
    done
    date
    结果:
    2019年 11月 20日 星期三 09:40:56 CST
    sleep 4
    sleep 4
    sleep 4
    2019年 11月 20日 星期三 09:41:08 CST

  2. 使用 &+wait
    并行执行,共计耗时4秒
    代码:
    #/bin/bash
    date
    for num in seq 1 3
    do
    {
    echo "sleep 4"
    sleep 4
    }&
    done
    wait
    date
    结果:
    2019年 11月 20日 星期三 09:42:44 CST
    sleep 4
    sleep 4
    sleep 4
    2019年 11月 20日 星期三 09:42:48 CST

根据观察可以发现&+wait形式会让循环体内的命令全部进入后台运行,这样当处理大量事务时会有问题,所以可以根据以下几种方式实现控制每次开启的线程数量

  1. 多层for 循环
    共计9次,发3个线程,等待4秒,共计耗时12秒
    代码:
    #/bin/bash
    date
    for num2 in seq 1 3
    do
    {
    for num in seq 1 3
    do
    {
    echo "sleep 4"
    sleep 4
    }&
    done
    wait
    }
    done
    date
    结果:
    2019年 11月 20日 星期三 09:47:23 CST
    sleep 4
    sleep 4
    sleep 4
    sleep 4
    sleep 4
    sleep 4
    sleep 4
    sleep 4
    sleep 4
    2019年 11月 20日 星期三 09:47:35 CST

  2. 使用xargs -P 并发
    共计9次,发3个线程,等待4秒,共计耗时12秒
    代码:
    #/bin/bash

all_num=9
thread_num=3

date

seq 1 ${all_num} | xargs -n 1 -I {} -P ${thread_num} sh -c "sleep 4;echo {}"

date
结果:
2019年 11月 20日 星期三 09:51:03 CST
1
3
2
4
5
6
8
9
7
2019年 11月 20日 星期三 09:51:15 CST

以上就是我总结的shell 并行方式。还有使用GNU parallel命令实现并发的方式,因为测试环境没有改命令,故没做测试,待测试环境有之后会补全。

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI