温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

task分配算法核心原理描述

发布时间:2020-07-06 06:39:31 来源:网络 阅读:510 作者:恶魔苏醒ing 栏目:开发技术
  1. 把stage生成的每个task创建一个taskset对象

  2. 双重for循环,遍历所有taskset,以及每种本地化级别

  3. 本地化级别有:

    1.process_local:进程本地化RDD的partition和task进入同一个executor中,速度最快

    2.node_local:RDD的partition和task不在一个executor上,但是在一个worker上

    3.NO_PERF:没有所谓的本地化级别

    4.RACK_LOCAL:机架本地化,至少RDD的partition和task在一个机架上

    5.任意本地化级别

  4. task优先选择最优的本地化级别

  5. 调用tasksetmanager的resourceOffer方法,去找到在这个executor上,哪些task可以启动,

  6. 放入taskset数组给指定的executor启动task

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI