本篇文章给大家分享的是有关spark核心组件是什么，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。
spark核心组件如下所示：
在SparkContext初始化的时候，会初始化一系列内容：
查看内存使用情况：
集群核心组件中的Block tracker是用于block和partition对应关系的管理。
集群核心组件中的shuffle tracker是用于记录shuffle操作的过程细节。
从集群中也可以看出，Executor在执行任务的时候是采用多线程的方式执行的并能够在HDFS或者HBase等系统上读取数据。
而在实际的Driver Program运行的时候每个partition都会由一个task负责运行的
以上就是spark核心组件是什么，小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注亿速云行业资讯频道。
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
