温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

运行在YARN上的计算框架有什么作用

发布时间:2021-11-17 16:10:26 来源:亿速云 阅读:195 作者:iii 栏目:web开发

本篇内容主要讲解“运行在YARN上的计算框架有什么作用”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“运行在YARN上的计算框架有什么作用”吧!

1. 将框架运行在YARN上带来的好处

随着YARN的的成熟和稳定,各类应用程序可以运行在一个YARN集群中进行统一资源管理和调度,这样带来的变化如下:

(1)应用程序部署变得更加简单

管理员只需部署YARN服务即可,各类应用程序框架不再自带服务,无需实现部署,它们已经变成了客户端编程库(library),由YARN提供的分布式缓存机制分发到各个节点上;

(2)服务部署变得简单

用户可以通过运行一个应用程序的方式部署一套服务,比如Storm服务,至于jar包拷贝等工作,完全由YARN自动完成,部署完成后,用户像使用普通的Storm集群那样使用Storm-On-YARN

(3)多版本共享集群资源(简单的隔离)

由于YARN只负责资源管理和调度,至于其上运行什么应用或者服务,完全由用户自己决定,这使得用户可在YARN上运行多个同类服务实例,比如运行 多个Storm实例供不同类型的应用,YARN本身可以为这些实例提供隔离机制(Cgroups)。有了YARN之后,用户开发新的框架或者应用程序时, 可不必在考虑资源隔离问题。

(4)资源弹性管理

由于多类应用运行在一个YARN集群中,比如离线计算、实时计算、DAG计算等,YARN可根据不同类型的应用程序压力情况,调整对应的资源使用量,实现资源弹性管理。

2. 目前可运行在YARN上的计算框架

运行在YARN上的框架,包括MapReduce-On-YARN, Spark-On-YARN, Storm-On-YARN和Tez-On-YARN。

(1)MapReduce-On-YARN:YARN上的离线计算,YARN发行版中自带该实现,随着YARN的稳定,MRv1运行方式会被淘汰;

(2)Spark-On-YARN:YARN上的内存计算;

(3)Storm-On-YARN:YARN上的实时/流式计算;

(4)Tez-On-YARN:YARN上的DAG计算

到此,相信大家对“运行在YARN上的计算框架有什么作用”有了更深的了解,不妨来实际操作一番吧!这里是亿速云网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI