大数据分布式计算--hadoop

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

Hadoop 核心项目提供了在低端硬件上构建云计算环境的基础服务,它也提供了运行在这个云中的软件所必须的 API 接口。  

Hadoop 内核的两个基本部分是 MapReduce 框架,也就是云计算环境,和 HDFS分布式文件系统 。在 Hadoop 核心框架中,MapReduce 常被称为 mapred,HDFS 经常被称为 dfs。。HDFS为海量的数据提供了存储，MapReduce为海量的数据提供了计算。

MapReduce 的核心概念是把输入的数据分成不同的逻辑块, Map 任务首先并行的对每一块进行单独的处理。这些逻辑块的处理结果会被重新组合成不同的排序的集合,这些集合最后由 Reduce 任务进行处理。

HDFS分布式文件系统有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。

                                                                                                                    参考：hadoop.appache.org

实验环境rhel6.5

主机server7，从机server8.server9  注：各机都必须域名相互解析。

安装及基本配置

各机创建uid为900 的hadoop用户，密码为redhat

Server7上,hadoop用户在/home/下。

#tar zxf hadoop-1.2.1.tar.gz -C hadoop

#cd hadoop

#ln -s hadoop-1.2.1/ hadoop

#sh jdk-6u32-linux-x64.bin    //安装java

#ln -s jdk-1.6.32 java

#vim .bash_profile    //配置path 

export JAVA_HOME=/home/hadoop/java

export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

export PATH=$PATH:$HOME/bin:$JAVA_HOME/bin

#source .bash_profile

#echo $JAVA_HOME

显示/home/hadoop/java

#cd hadoop/conf

#vim hadoop-env.sh 

修改exprot JAVA_HOME=/home/hadoop/java

#mkdir ../input   

#cp *.xml ../input     //创建分布式文件系统

#cd ..

#bin/hadoop jar hadoop-examples-1.2.1.jar 

   列出了hadoop-example-1.2.1jar对input操作的相关参数，如grep查找，sort排序，wordcount计数等。

#bin/hadoop jar hadoop-examples-1.2.1.jar grep input output 'dfs[a-z.]+'   //查找inout中文件名开头为dfs后面为小写英文的文件，将结果存入自动生成的output文件夹中

#cd output/

#ls

#cat *

再介绍下hadoop的三种工作模式

单机模式（standalone）

         单机模式是Hadoop的默认模式，当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。

伪分布模式（Pseudo-Distributed Mode）

        伪分布模式在“单节点集群”上运行Hadoop，其中所有的守护进程都运行在同一台机器上。该模式在单机模式之上增加了代码调试功能，允许你检查内存使用情况，HDFS输入输出，以及其他的守护进程交互。

完全分布式模式

        Hadoop守护进程运行在一个集群上。

上面的操作为单机模式。

Hadoop分布式部署

结构：

    主节点包括名称节点（namenode)、从属名称节点(secondarynamenode)和 jobtracker 守护进程(即所谓的主守护进程)以及管理集群所用的实用程序和浏览器。

   从节点包括 tasktracker 和数据节点(从属守护进程)。两种设置的不同之处在于,主节点包括提供 Hadoop 集群管理和协调的守护进程,而从节点包括实现Hadoop 文件系统(HDFS )存储功能和 MapReduce 功能(数据处理功能)的守护进程。

每个守护进程在 Hadoop 框架中的作用：

namenode 是 Hadoop 中的主服务器,它管理文件系统名称空间和对集群中存储的文件的访问。

secondary namenode ,它不是namenode 的冗余守护进程,而是提供周期检查点和清理任务。

在每个 Hadoop 集群中可以找到一个 namenode 和一个 secondary namenode。

datanode 管理连接到节点的存储(一个集群中可以有多个节点)。每个存储数据的节点运行一个 datanode 守护进程。

每个集群有一个 jobtracker ,它负责调度 datanode 上的工作。

每个 datanode 有一个tasktracker,它们执行实际工作。

jobtracker 和 tasktracker 采用主-从形式,jobtracker 调度datanode 分发工作,而 tasktracker 执行任务。jobtracker 还检查请求的工作,如果一个datanode 由于某种原因失败,jobtracker 会重新调度以前的任务。

下面实现伪分布式

为了方便，进行ssh免密码设置。

Server7上hadoop用户。

#ssh-keygen

#ssh-copy-id localhost

#ssh localhost     //免密码登陆本机

修改配置文件：

#cd hadoop/conf

#vim core-site.xml 

在<configuration>下面添加

   <property>

            <name>fs.default.name</name>

                <value>hdfs://172.25.0.7:9000</value>

            </property>                //指定namenode

#vim mapred-site.xml 

在<configuration>下面添加

    <property>

            <name>mapred.job.tracker</name>

                <value>172.25.0.7:9001</value>

                    </property>            //指定 jobtracker

#vim hdfs-site.xml 

 在<configuration>下面添加

       <property>

            <name>dfs.replication</name>

                <value>1</value>

                        </property>    //指定文件保存的副本数，由于是伪分布式所以副本就是本机1个。

#cd ..

#bin/hadoop namenode -format      //格式化namenode

#bin/start-dfs.sh             //启动hdfs

#jps    //查看进程

可看到secondarynamenode，namenode,datanode都以启动。Namenode与datanode在同一台机器上，所以是伪分布式。

#bin/start-mapred.sh.sh        //启动mapreduce 

#bin/hadoop fs -put input test     //上传input到hdfs并在hdfs中更名为test

浏览 NameNode 和 JobTracker 的网络接口,它们的地址默认为:

NameNode – http://172.25.0.7:50070/

JobTracker – http://172.25.0.7:50030/

查看namenode

#bin/hadoop fs -ls test          //列出hdfs中test目录下的文件

Web上查看test下的文件

下面实现完全分布式模式

主从机上都安装nfs-utils并启动rpcbind服务（主要是在nfs共享时候负责通知客户端，服务器的nfs端口号的。简单理解rpc就是一个中介服务），从机通过nfs直接使用hadoop免去安装配置。

在server7上，启动nfs服务

#vim /etc/exports

/home/hadoop  *(rw,all_squash,anonuid=900,anongid=900

                 //共享hadoop，对登陆用户指定id，用户以uid为900的用户登陆

server8，9上

#mount 172.25.0.7:/home/hadoop /hooem/hadoop/      //挂载共享目录

server7上，hadoop用户，更改hadoop/conf下的hdfs-site，将副本数由1改为2。

#cd  hadoop/conf

#vim slave  添加从机

  172.25.0.8

  172.25.0.9

#vim master  设置主机

  172.25.0.7

启动完全分布式模式前要格式化伪分布式文件系统

#cd ..

#bin/stop-all.sh     //停止jobtracker,namenode,secondarynamenode

#bin/hadoop-daemon.sh stop tasktracker

#bin/hadoop-daemon.sh stop datanode     //停止tasktracker，datanode，

#bin/hadoop namenode -format

#bin/start-dfs.sh    显示server8，server9连接。

#bin/start-mapred.sh

新增了jobtracker进程

server8上，jps可看到三个进程jps，datanode,tasktracker

从机可以上传，查询等

#bin/hadoop fs -put input test

#bin/hadoop jar hadoop-example-1.2.1.jar grep test out ‘dfs[a-z]+’

server7上，

#bin/hadoop dfsadmin -report   //显示hdfs信息

由于hadoop下未增加文件，所以dfs used%均为0%

#dd if=/dev/zero of=bigfile bs=1M count=200

#bin/hadoop fs -put bigfile test

在web上看到dfs used为403.33MB（两从机，每个为200MB）

注：有时候操作错误导致hadoop进入安全模式，无法进行上传等操作

只需运行下行指令即可

#bin/hadoop dfsadmin -safemode leave

hadoop支持实时扩展，可在线添加从机。

新增从机server10。安装nfs-utils,启动rpcbind服务。添加uid900的hadoop用户，挂载server7的hadoop并在hadoop/conf下的slaves添加172.25.0.10。

       注：必须在添加server10之前在主从机上添加server10的hostname解析。

server10上，hadoop用户

#bin/hadoop-daemon.sh start datanode

#bin/hadoop-daemon.sh start tasktracker

server7上，

#bin/hadoop dfsadmin -report 

可看到server10的信息

可看到server10 dfs used为0，可以将server9的数据移到server10中。

数据迁移：

数据迁移是将很少使用或不用的文件移到辅助存储系统的过程。

hadoop 在线删除 server9 datanode 节点可实现数据迁移:

#bin/hadoop-daemon.sh stop tasktracker  //在做数据迁移时,此节点不要参与 tasktracker,否则会出现异常

  在 master 上修改 conf/mapred-site.xml

  在</property>下面添加

    <property>

          <name>dfs.hosts.exclude</name>

          <value>/home/hadoop/hadoop-1.0.4/conf/datanode-excludes</value>

               </property>

在conf下创建datanode-excludes，添加需要删除的主机,一行一个

#vim datanode-excludes  

172.25.0.9   //删除节点server9

#cd ..

#bin/hadoop dfsadmin -refreshNodes    //在线刷新节点

#bin/hadoop dfsadmin -report 

可看到server9 状态：Decommission in progress，

若要在线删除tasktracker节点

在server7上修改 conf/mapred-site.xml

<property>

        <name>mapred.hosts.exclude</name>

        <value>/home/hadoop/hadoop-1.0.4/conf/tasktracker-excludes</value></property>

创建 tasktracker-excludes 文件,并添加需要删除的主机名,一行一个

server9.example.com

#bin/hadoop mradmin -refreshNodes

等此节点的状态显示为 Decommissioned,数据迁移完成，可以安全关闭了。

hadoop1.2.1版本过低，jobtracker的调度能力不强，当slvers过多时容易成为瓶颈。使用新版本2.6.4是个不错的选择。

停掉进程，删除文件：

server7上

#bin/stop-all.sh

#cd /home/hadoop

#rm -fr hadoop java hadoop-1.2.1 java1.6.32

#rm -fr /tmp/*

从机上

#bin/hadoop-daemon.sh stop datanode

#bin/hadoop-daemon.sh stop tasktracker

#rm -fr /tmp/*

下面操作与上面基本相同

server7上，/home/hadoop/下hadoop用户

#tar zxf jdk-7u79-linux-x64.tar.gz -C /home/hadoop/

#ln -s jdk1.7.0.79 java

#tar zxf hadoop-2.6.4.tar.gz

#ln -s hadoop-2.6.4 hadoop

#cd hadoop/etc/hadoop

#vim hadoop-env.sh

 export JAVA_HOME=/home/hadoop/java

 export HADOOP_PREFIX=/home/hadoop/hadoop

#cd /home/hadoop/hadoop

#mkdir input

#cp etc/hadoop/*.xml input

#bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep input output ‘dfs[a-z.]+’

#cat output/*

grep编译时会有warning，当集群大时可能会出现问题。需要添加hadoop-native。

#tar -xf hadoop-native-64.2.6.0.tar -C hadoop/lib/native/

#bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep input output ‘dfs[a-z.]+’

再编译没有warning 

#cd etc/hadoop

#vim slaves    

 172.25.0.8

 172.25.0.9

#vim etc/hadoop/core-site.xml

  <property>

     <name>fs.defaultFS</name>

         <value>hdfs://172.25.0.7:9000</value>

           </property>

#vim hdfs-site.xml

<property>

        <name>dfs.replication</name>

                <value>2</value>

        </property>

#bin/hdfs namenode -format

#sbin/start-dfs.sh

#jps

#ps -ax 可看到namenode与secondarynamenode进程

#bin/hdfs dfs -mkdir /user/hadoop

#bin/hdfs dfs -put input/ test

web上可看到input以上传。

MapReduce 的 JobTracker/TaskTracker 机制需要大规模的调整来修复它在可扩展性，内存消耗，线程模型，可靠性和性能上的缺陷

为从根本上解决旧 MapReduce 框架的性能瓶颈，促进 Hadoop 框架的更长远发展，从 0.23.0 版本开始，Hadoop 的 MapReduce 框架完全重构，发生了根本的变化。新的 Hadoop MapReduce 框架命名为 MapReduceV2 或者叫 Yarn

#vim etc/hadoop/yarn-site.xml

   < property>

       <name>yarn.resourcemanager.hostname</name>

           <value>server7.example.com</value>

           </property>

#sbin/start-yarn.sh

#jps

server8可看到进程已启动