Hadoop1.x和Hadoop2.x有什么区别

这篇文章给大家分享的是有关Hadoop1.x和Hadoop2.x有什么区别的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。

Hadoop 2.0 产生背景

• Hadoop 1.0 中HDFS和MapReduce在高可用、扩展性等方面存在问题

• JobTracker访问压力大，影响系统扩展性；

• 难以支持除MapReduce之外的计算框架，比如Spark、Storm等。

• NameNode单点故障，难以应用于在线场景；

• NameNode压力过大，且内存受限，影响系统扩展性。

• HDFS 存在的问题

• MapReduce存在的问题

HDFS 2.x

• 解决HDFS 1.0 单点故障和内存受限问题。

• 解决单点故障

• 参考 HDFS High Availability Using the Quorum Journal Manager

• 参考 ZooKeeper Getting Started Guide

• HDFS HA:通过准备NameNode解决；

• 如果住NameNode发生故障，则切换到备NameNode。

• 解决内存受限问题

• HDFS Federation （联邦）

• 水平扩展，支持多个NameNode；

• 每个NameNode分管一部分目录；

• 所有NameNode共享所有DataNode存储的资源。

• 2.x仅是架构上发生了改变，使用方式不变

• 对HDFS使用者透明

• HDFS 1.x 中的命令和API仍可以使用

• 主备NameNode

• 解决单点故障

• 主NameNode对外提供服务，备NameNode同步主NameNode元数据，以待切换；

• 所有DataNode同时向两个NameNode汇报数据块信息。

• 两种切换选择

• 手动切换：通过命令实现准备之间的切换，可以用HDFS升级等场合；（X）

• 自动切换：基于Zookeeper实现。 （√）

• 基于Zookeeper自动切换方案

• Zookeeper Failove Controller：监控Namenode健康状态，并向Zookeeper 注册 Namenode

• NameNode挂掉后，ZKFC为NameNode竞争锁，获得ZKFC锁的NameNode变为active

HDFS 2.x Federation

• 通过多个namenode/namespace把元数据的存储和管理分散到多个节点中，使namenode/namespace可以通过增加机器来进行水平扩张。

• 能把单个namenode的负载分散到多个节点中，在HDFS数据规模较大的时候也不会降低HDFS的性能。可以通过多个namsespace来隔离不同类型的应用，把不同类型应用的HDFS的存储和管理分派到不同的namenode中。

YARN

• YARN - Yet Another Resource Negotiator;

• Hadoop 2.0 新引入的资源管理系统，直接从MRv1演化而来；

• 核心思想：将MRv1中JobTracker的资源管理和任务调度两个功能分开，分别由ResourceManager和ApplicationMaster进程实现； -ResourceManager：负责整个集群的资源管理和调度；整个集群只有一个；

• ApplicationMaster：负责应用程序相关的事务，比如任务调度、任务监控和容错等；一个应用程序对应一个ApplicationMaster；

• YARN的引入，是的多个计算框架可运行在一个集群中

• 每个应用程序对应一个ApplicationMaster；

• 目前多个计算框架可以运行在YARN上，比如MapReduce、Spark、Storm等。

MapReduce On YARN

• 运行在YARN之上的MapReduce称为MRv2；

• 将MapReduce作业直接运行在YARN上，而不是运行在由JobTracker和TaskTracker构建的MRv1系统中；

• 在Hadoop2.0中并不存在JobTracker和TaskTracker；

MRv2的模块基本功能：

• YARN：负责资源管理和调度；

• MRAppMaster：负责一个应用程序/作业的任务切分、任务调度、任务监控和容错；

• Map/Reduce Task：任务驱动引擎，与MRv1一致；

• 每个应用程序/作业（MapReduce作业）对应一个MRAppMaster

• 单个应用程序/作业运行失败，不会影响其他应用程序/作业，由YARN重新启动；

• 任务失败后，MRAppMaster重新申请资源；

• 负责应用程序/作业相关的事务，包括将从YARN分配得到的资源二次分配给内部的任务、任务切分、任务健康和容错等；

感谢各位的阅读！关于“Hadoop1.x和Hadoop2.x有什么区别”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！