温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

使用Redis实现定时任务多节点部署及自动任务分发的方法

发布时间:2020-10-19 18:19:33 来源:亿速云 阅读:574 作者:小新 栏目:编程语言

这篇文章主要介绍使用Redis实现定时任务多节点部署及自动任务分发的方法,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!

最近部署一个定时任务项目遇到一个问题:部署的代码每天会定时启动多个任务在后台串行执行,且每个任务耗时比较长。我们的生产环境会自动开启三个相同的节点把部署的代码同步运行,这就导致三个节点的定时任务会重复执行,我只好强行关闭另外两个节点,以单节点的方式串行执行定时任务。

这样代码是能跑起来,但是效率低且浪费了另外两个服务器。我需要改造代码以便能支持多节点运行,且能让每个节点分发到不同的任务去执行。

思考过后,我借助redis实现了一个简单的分布式定时任务,在这里记录一下。

思路

要实现分布式,必须要使用到每个节点都能访问到的公共变量作为全局锁,这里我使用了redis来实现锁。
对每个不同类的任务设置唯一的字符串键,当定时任务开始时,每个节点将会去遍历任务抢占锁,只有获取到锁的节点可以执行锁对应的任务,而未获取到锁的节点将继续遍历其他任务锁,直到所有任务锁被获取并执行。

示例代码:task_manager.py

from redis import Redisfrom apscheduler.schedulers.blocking import BlockingSchedulerimport timeimport randomr = Redis(host='localhost', port=6379, db=0, decode_responses=True)TASK_LIST = ["任务参数1", "任务参数2", "任务参数3", "任务参数4"]# 存放当前已完成的集合键FINISHED_TASK_KEY = "task:finished"# 给每个任务顺序分配不同的redis键TASK_KEYS = ["task: {}".format(task) for task in range(len(TASK_LIST))]# redis键对应的任务参数TASK_MAP = {key: task for key, task in zip(TASK_KEYS, TASK_LIST)}EXPIRE = 60 * 60 * 23# 模拟定时执行的任务,可接受不同的参数def task(param):
    print("----------------------------------")
    print("开始执行任务:{}....".format(param))
    time.sleep(random.randint(15, 30))
    print("完成{}".format(param))
    print("----------------------------------")def start():
    # 每日任务开始前先删除redis中已完成任务集合
    r.delete(FINISHED_TASK_KEY)
    # 添加redis中唯一任务锁,若添加成功且任务完成表中无当前任务则执行
    for key in TASK_KEYS:
        status = r.set(key, 1, ex=EXPIRE, nx=True)
        # 检查当前任务是否已执行
        is_finished = r.sismember(FINISHED_TASK_KEY, key)
        if status is True and is_finished is False:
            print("当前节点获取任务:{} 成功, 准备执行。。".format(key))
            # 获取当前redis键对应的任务参数并执行任务
            task_param = TASK_MAP.get(key)
            task(task_param)
            # 任务执行完成将当前任务添加到已完成集合,不允许其他节点再获取该任务
            r.sadd(FINISHED_TASK_KEY, key)
            r.delete(key)
        elif status is True and is_finished is True:
            print("未执行: {},其他节点已完成该任务".format(key))
        else:
            print("未执行:{},其他节点正在执行当前任务".format(key))if __name__ == '__main__':
    # 这里可使用apscheduler定时任务框架调度start函数,该处模拟未使用定时任务
    start()

模拟多节点运行

先同时打开三个命令行窗口,并键入执行命名,然后尽量相近时间点击回车运行,模拟多节点下定时任务同时触发的场景:

使用Redis实现定时任务多节点部署及自动任务分发的方法

执行情况如下

使用Redis实现定时任务多节点部署及自动任务分发的方法

模拟多节点同步运行结果

根据打印的执行情况看,整体符合预期,一个任务只能被一个节点执行,且能做到自动任务分发,执行完当前任务的节点会自动去获取还未执行的任务,直到所有任务执行完毕。

最后

当然,以上只是一个demo,还需要处理很多异常判断任务,任务完成情况之类的,针对不同的任务情景还可以有其他变通方法。这里只是整理一下思路和分享,希望对你也有所启发。

以上是使用Redis实现定时任务多节点部署及自动任务分发的方法的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注亿速云行业资讯频道!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI