Cloudera下如何实现Hadoop

小编给大家分享一下Cloudera下如何实现Hadoop，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！

前言

Hadoop 是一个实现了 MapReduce 计算模型的开源分布式并行编程框架。MapReduce的概念来源于Google实验室，它是一个简化并行计算的编程模型，适用于大规模集群上的海量数据处理，目前最成功的应用是分布式搜索引擎。随着2007年底该模式Java开源实现项目Apache Hadoop的出现，使得程序员可以轻松地编写分布式并行程序，并将其运行于计算机集群上，完成海量数据的计算。近两年尤其是今年国内外采用 MapReduce模型的应用也逐渐丰富起来，如像NTT KDDI和中国移动这类的电信公司采用该模型分析用户信息，优化网络配置；美国供电局采用该模型来分析电网现状；包括VISA和JP摩根在内的金融公司采用该模型来分析股票数据；包括Amazon和ebay在内的零售商和电子商务公司也开始采用该模型；甚至部分生物公司也采用该模型来进行DNA测序和分析。然而Hadoop安装、部署、管理的难度非常大，这使用很多用户对Hadoop望而却步，好在这种情况不久就得到了改善，Cloudera提供了非常简单的Hadoop的发布版本，能够十分方便地对Hadoop进行安装、部署和管理，这导致目前大约有75％的Hadoop新用户使用Cloudera。下面是利用Cloudera 实现Hadoop 的具体规划。

规划

运行模式

Hadoop有三种运行模式：单机（非分布）运行模式、伪分布运行模式和分布式运行模式。其中前两种运行模式体现不了 Hadoop 分布式计算的优势，并没有什么实际意义（当然它们对程序的测试及调试还是很有帮助的），因此在这里还是采用实际环境中使用的分布式运行模式来部署。

主机规划

在这里拟采用三台主机搭建Hadoop环境，由于后期还需要测试增删主机及跨网段主机对Hadoop环境的影响，特将Hadoop主机规划如下：Hadoop-01 10.137.253.201Hadoop-02 10.137.253.202Hadoop-03 10.137.253.203 准备后期加入的测试主机Hadoop-04 10.137.253.204Firehare-303 10.10.3.30  准备后期加入的跨网段测试主机

Hadoop环境规划

对于Hadoop来说，最主要的是两个内容，一是分布式文件系统HDFS，一是MapReduce计算模型。在分布式文件系统HDFS看来，节点分为NameNode 和DataNode，其中NameNode只有一个，DataNode可以是很多；在MapReduce计算模型看来，节点又可分为JobTracker 和 TaskTracker，其中JobTracker只有一个，TaskTracker可以是很多。因此在实际的Hadoop环境中通常有两台主节点,一台作为NameNode（I/O节点？？）,一台作为JobTracker（管理节点？？）,剩下的都是从节点，同时当做DataNode和 TaskTracker使用。当然也可以将NameNode和JobTracker安装在一台主节点上。由于测试机数量有限，所以在这里是让 Hadoop-01做为Namenode和Jobtracker，其它主机则作为DataNode和TaskTracker（如果Hadoop环境中主机数量很多的话，还是建议将Namenode和JobTracker部署到不同的主机，以提高计算的性能）。

以上是“Cloudera下如何实现Hadoop”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注亿速云行业资讯频道！