如何在centos6.5-64bit上部署hadoop2.4.1分布式环境

这篇文章主要介绍如何在centos6.5-64bit上部署hadoop2.4.1分布式环境，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！

1 任务

    在centos6.5-64bit上部署hadoop2.4.1分布式环境。

2 准备虚拟机

       我们不是土豪，没那么多机器给我们玩。没关系，我们使用虚拟机来部署。准备6台虚拟机，全部安装linux系统。centos、debian等都可以，但是这里用CentOS进行说明。1个maste节点，3个slave节点，另外加1个client节点用来部署nutch环境，给hdfs喂数据。最后1个monitor节点，后期用作部署监控平台，见下表：

3 安装配置Hadoop

hadoop要求所有节点使用相同的用户、相同的目录结构部署（没有证实）。

不过我的理解：

1.使用相同的用户部署。这点比较好理解，master管理slave的时候需要登录slave节点执行脚本。如果用户不相同，脚本不能识别使用哪个用户登录slave节点。 

2.不一定使用相同的路径。因为有环境变量来指向部署的路径，所以不用一定部署到相同的路径。但是如果部署路径不相同的话，管理部署不方便。所以还是尽量相同吧。

3.1 准备工作

‍    3.1.1 配置虚拟机IP地址和主机名‍

    根据上面的表格配置虚拟机ip和hostname，配置好以后在/etc/hosts文件添加以下解析。有条件配置了自己的DNS服务器的话，这步可以改成在DNS服务器中增加以下解析，然后所有节点DNS地址指向自己的DNS服务器IP。只要保证所有节点主机名称解析IP一致就达到目的了。

192.168.122.100    master.hadoop
192.168.122.101    slave1.hadoop
192.168.122.102    slave2.hadoop
192.168.122.103    slave3.hadoop
192.168.122.104    client.hadoop
192.168.122.105    monitor.hadoop

    ‍完成后验证每个节点是否都能够正确解析。‍

    3.1.2 创建用户

    所有节点创建hadoop用户，master节点与slave节点之间配置ssh无密码登录。

    完成后，在master.hadoop上ssh slave1.hadoop看看能否无密码登录成功。同样的测试master.hadoop到所有节点是否能够无密码登录成功。

    3.1.3 安装JDK

    下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

    这里我们选择下载linux x64版本的tar压缩包。 jdk-7u60-linux-x64.tar.gz  

tar -zxvf jdk-7u60-linux-x64.tar.gz
mv jdk1.7.0_60/ /usr/lib/

   vim /etc/profile 加入JAVA_HOME等环境变量    

# JAVA
export JAVA_HOME=/usr/lib/jdk1.7.0_60
export JRE_HOME=/usr/lib/jdk1.7.0_60/jre 
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib 
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

    source /etc/profile使环境变量生效，查看java版本。能够查看到版本号，说明JAVA环境配置成功了。

[root@master ~]#source /etc/profile
[root@master ~]#java -version
java version "1.7.0_55"
OpenJDK Runtime Environment (rhel-2.4.7.1.el6_5-x86_64 u55-b13)
OpenJDK 64-Bit Server VM (build 24.51-b03, mixed mode)

    所有机器都要安装JDK。所有节点服务器的JDK使用相同的版本。

3.2 安装hadoop

slave节点的配置跟master节点是一样的。所以我们只要部署好master节点，slave节点等master节点配置好以后scp拷贝或者rsync同步到slave节点就可以了。

     安装hadoop有两种方式，一种是下载hadoop二进制编译包。配置好环境变量。配置好hadoop配置文件就可以了。另外一种就是编译安装了。两种方式我都介绍一下，实际部署的时候选择其中一种就可以了。

    3.2.1 解压安装编译版

    下载tar包，并解压

#wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.4.1/hadoop-2.4.1.tar.gz
#tar zxvf hadoop-2.4.1.tar.gz 
#mv hadoop-2.4.1/  /opt/
#cd /opt
#chown -R hadoop.hadoop hadoop-2.4.1/

    配置环境变量vim /etc/profile,加入HADOOP_HOME等环境变量，其中注释掉的HADOOP_ROOT_LOGGER=DEBUG,console在调试时可以打开，打开后输出的DEBUG日志比较详细。

# HADOOP
export HADOOP_HOME=/opt/hadoop
export HADOOP_PREFIX=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_PREFIX
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_PREFIX/lib/native
export HADOOP_CONF_DIR=$HADOOP_PREFIX/etc/hadoop
export HADOOP_HDFS_HOME=$HADOOP_PREFIX
export HADOOP_MAPRED_HOME=$HADOOP_PREFIX
export HADOOP_YARN_HOME=$HADOOP_PREFIX
#export HADOOP_ROOT_LOGGER=DEBUG,console
export LD_LIBRARY_PATH=$HADOOP_PREFIX/lib/native
export PATH=$PATH:$HADOOP_HOME/bin

    需要注意的是，apache官方提供的编译版中的native library是32bit的。运行在64bit系统启动集群时会报WARN提示，要解决这个WARN有两个方法，一个是编译源码包，得到64bit的nativ library文件后替换原来的32bit文件。 另一个方法就是网上找别人编译好的64bit native library库文件，下载替换。 

    3.2.2 编译安装源码版

    首先需要安装一些依赖包

yum install lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool ncurses-devel openssl-devel cmake

3.3 配置Hadoop

    3.3.1 core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master.hadoop:9000</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>4096</value>
    </property>
</configuration>

    3.3.2 hdfs-site.xml

<configuration>
    <property>
        <name>dfs.nameservices</name>
        <value>hadoop-cluster1</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>master.hadoop:50090</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///home/hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///home/hadoop/dfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
</configuration>

    3.3.3 mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobtracker.http.address</name>
        <value>master.hadoop:50030</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>master.hadoop:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>master.hadoop:19888</value>
    </property>
</configuration>

    3.3.4 yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>master.hadoop:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>master.hadoop:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>master.hadoop:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>master.hadoop:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master.hadoop:8088</value>
    </property>
</configuration>

    3.3.5 slaves

slave1.hadoop
slave2.hadoop
slave3.hadoop

以上是“如何在centos6.5-64bit上部署hadoop2.4.1分布式环境”这篇文章的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注亿速云行业资讯频道！