Hadoop Mapreduce架构分析

这篇文章主要介绍“Hadoop Mapreduce架构分析”，在日常操作中，相信很多人在Hadoop Mapreduce架构分析问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”Hadoop Mapreduce架构分析”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！

1、Client

用户编写的MapReduce程序通过Client提交到JobTracker端；同时，用户可通过Client提供的一些接口查看作业运行状态。在Hadoop内部用“作业”Job表示MapReduce程序。一个MapReduce程序可对应若干个作业，而每个作业会被分解成若干个Map/Reduce任务（Task）。

2、JobTracker

JobTracker主要负责作业调度和资源监控。

作业调度：监控所有TaskTracker与作业的健康状况，一旦发现失败情况后，其会将相应的任务转移到其它节点。

资源监控：JobTracker会跟踪任务执行进度、资源使用量等信息，并将这些信息告诉任务调度器，而调度器会在资源出现空闲时，选择合适的任务使用这些资源。在Hadoop中任务调度器是一个可插拨的模块，可自行设计。

3、TaskTracker

TaskTracker会周期性地通过Heartbeat将本节点上资源的使用情况和任务的运行进度汇报给JobTracker，同时接收JobTracker发送过来的命令并执行相应的操作（如启动新任务、杀死任务等）。

TaskTracker使用"slot"等量划分本节点上的资源量。”slot“代表计算资源。一个Task获取一个slot后才有机会运行。而Hadoop调度器的作用就是将各个TaskTracker上的空闲slot分配给Task使用。slot分为Map slot和Reduce slot两种，分别供Map Task和Reduce Task使用。TaskTracker通过slot数目限定Task的并发度。

4、Task

Task分为Map Task 和Reduce Task两种，均由TaskTracker启动。HDFS以固定大小的block为基本单位存储数据，而对MapReduce而言，其处理单位是split。split与block的对应关系如下图

split是一个逻辑概念，它只包含一些元数据信息，比如数据起始位置、数据长度、数据所在节点等.划分方法完全由用户自己决定。split的多少决定Map Task数量，一个split对应一个Map Task。

Map Task执行过程如下图：

Map Task先将对应的split迭代解析成一个key/value对，依次调用map函数进行处理，并将处理结果存放在本地磁盘，其中临时数据被分为若干个partition，每个partition将被一个Reduce Task处理。

Reduce Task执行过程如下图：

该过程分为三个阶段：1、shuffle阶段，从远程节点上读取Map Task中间结果；2、Sort阶段，按照key对key/value进行排序；3、reduce阶段，依次读取<key,value list>，调用reduce函数处理，并存入HDFS。

到此，关于“Hadoop Mapreduce架构分析”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注亿速云网站，小编会继续努力为大家带来更多实用的文章！