Hadoop如何实现

这篇文章给大家分享的是有关Hadoop如何实现的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。

Hadoop入门

Hadoop是GoogleMapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样，MapReduce的run-time系统会解决输入数据的分布细节，跨越机器集群的程序执行调度，处理机器的失效，并且管理机器之间的通讯请求。这样的模式允许程序员可以不需要有什么并发处理或者分布式系统的经验，就可以处理超大的分布式系统得资源。

一、概论
作为Hadoop程序员，他要做的事情就是：
1、定义Mapper，处理输入的Key-Value对，输出中间结果。
2、定义Reducer，可选，对中间结果进行规约，输出最终结果。
3、定义InputFormat和OutputFormat，可选，InputFormat将每行输入文件的内容转换为Java类供Mapper函数使用，不定义时默认为String。
4、定义main函数，在里面定义一个Job并运行它。
然后的事情就交给系统了。Hadoop入门首先要了解一下基本概念。

1.基本概念：Hadoop的HDFS实现了google的GFS文件系统，NameNode作为文件系统的负责调度运行在master，DataNode运行在每个机器上。同时Hadoop实现了Google的MapReduce，JobTracker作为MapReduce的总调度运行在master，TaskTracker则运行在每个机器上执行Task。

2.main()函数，创建JobConf，定义Mapper，Reducer，Input/OutputFormat和输入输出文件目录，***把Job提交給JobTracker，等待Job结束。

3.JobTracker，创建一个InputFormat的实例，调用它的getSplits()方法，把输入目录的文件拆分成FileSplist作为Mappertask的输入，生成Mappertask加入Queue。

4.TaskTracker向JobTracker索求下一个Map/Reduce。

MapperTask先从InputFormat创建RecordReader，循环读入FileSplits的内容生成Key与Value，传给Mapper函数，处理完后中间结果写成SequenceFile.
ReducerTask从运行Mapper的TaskTracker的Jetty上使用http协议获取所需的中间内容（33%），Sort/Merge后（66%），执行Reducer函数，***按照OutputFormat写入结果目录。
TaskTracker每10秒向JobTracker报告一次运行情况，每完成一个Task10秒后，就会向JobTracker索求下一个Task。
Nutch项目的全部数据处理都构建在Hadoop之上，详见ScalableComputingwithHadoop。下面我们再来看一下Hadoop入门介绍中程序员编写的代码。

二、程序员编写的代码
我们做一个简单的分布式的Grep，简单对输入文件进行逐行的正则匹配，如果符合就将该行打印到输出文件。因为是简单的全部输出，所以我们只要写Mapper函数，不用写Reducer函数，也不用定义Input/OutputFormat。

packagedemo.hadoop  publicclassHadoopGrep{  publicstaticclassRegMapperextendsMapReduceBaseimplementsMapper{  privatePatternpattern;  publicvoidconfigure(JobConfjob){  pattern=Pattern.compile(job.get("mapred.mapper.regex"));  }   publicvoidmap(WritableComparablekey,Writablevalue,OutputCollectoroutput,Reporterreporter)  throwsIOException{  Stringtext=((Text)value).toString();  Matchermatcher=pattern.matcher(text);  if(matcher.find()){  output.collect(key,value);  }}  }  privateHadoopGrep(){  }//singleton   publicstaticvoidmain(String[]args)throwsException{  JobConfgrepJob=newJobConf(HadoopGrep.class);  grepJob.setJobName("grep-search");  grepJob.set("mapred.mapper.regex",args[2]);  grepJob.setInputPath(newPath(args[0]));  grepJob.setOutputPath(newPath(args[1]));  grepJob.setMapperClass(RegMapper.class);  grepJob.setReducerClass(IdentityReducer.class);  JobClient.runJob(grepJob);  }  }

RegMapper类的configure()函数接受由main函数传入的查找字符串，map()函数进行正则匹配，key是行数，value是文件行的内容，符合的文件行放入中间结果。
main()函数定义由命令行参数传入的输入输出目录和匹配字符串，Mapper函数为RegMapper类，Reduce函数是什么都不做，直接把中间结果输出到最终结果的的IdentityReducer类，运行Job。整个代码非常简单，丝毫没有分布式编程的任何细节。

感谢各位的阅读！关于“Hadoop如何实现”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！