hadoop2.2.0集群环境如何部署

这篇文章主要介绍了hadoop2.2.0集群环境如何部署，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。

1.windows下安装vmware workstation 9
2.vm虚拟网络编辑器选择添加网络 VMnet0 NAT，子网IP 192.168.2.0
3.install debian6，最简化安装，不从镜像下载安装
4.安装完成，以root身份登录debian系统
5.apt-cache search openssh
6.apt-get install openssh-server
7.切换putty以root身份进入debian
8.apt-get install gcc
9.apt-get install g++
10.apt-get install sudo
11.groupadd hadoop
12.useradd -g hadoop hadoop
13.passwd hadoop
14.vi /etc/sudoers 添加 hadoop ALL=(ALL:ALL) ALL
15.mkdir /home/hadoop
16.chown hadoop:hadoop /home/hadoop
15.su – hadoop
16.ssh-keygen -t rsa -P ""
17.cat /home/hadoop/.ssh/id_rsa.pub >> /home/hadoop/.ssh/authorized_keys
18.chown hadoop:hadoop /home/hadoop/.ssh/authorized_keys
19.chmod 600 /home/hadoop/.ssh/authorized_keys
20.ssh localhost
21.上传jdk-7u45-linux-i586.tar.gz到root目录
22.上传hadoop-2.2.0.tar.gz到root目录
23.tar -zxvf /root/jdk-7u45-linux-i586.tar.gz -C /usr/java/
24.tar -zxvf /root/hadoop-2.2.0.tar.gz -C /opt/
25.mv /opt/hadoop-2.2.0/ /opt/hadoop
26.vi .bashrc 去掉export LS_OPTIONS...-1A' 前面的# 然后重新 su - root使设置生效
27.vi /etc/profile 添加
 export JAVA_HOME=/usr/java/jdk1.7.0_45
 export JRE_HOME=${JAVA_HOME}/jre
 export HADOOP_HOME=/opt/hadoop
 export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
 export PATH=${JAVA_HOME}/bin:$HADOOP_HOME/bin:$PATH
 export HADOOP_COMMON_HOME=$HADOOP_HOME
 export HADOOP_HDFS_HOME=$HADOOP_HOME
 export HADOOP_CONF_DIR=$HADOOP_HOME/conf
 export YARN_CONF_DIR=$HADOOP_HOME/conf
 然后重新 su - root使设置生效 $java查看是否生效
28.chown hadoop:hadoop /opt/hadoop
29.mkdir /opt/hadoop/conf
30.cp /opt/hadoop/etc/hadoop/* /opt/hadoop/conf
31.vi /opt/hadoop/conf/mapred-env.sh
 增加export JAVA_HOME=/usr/java/jdk1.7.0_45
32.vi /opt/hadoop/conf/yarn-env.sh
 增加export JAVA_HOME=/usr/java/jdk1.7.0_45
33.vi /opt/hadoop/conf/hadoop-env.sh
 增加export JAVA_HOME=/usr/java/jdk1.7.0_45
34.vi /opt/hadoop/conf/slave 增加slave1
 slave2
 slave3 注意要换行
35.修改conf下的配置文件core-site、hdfs-site、mapred-site、yarn-env四个xml文件
36.vi /etc/hosts 增加
 192.168.2.128	master
 192.168.2.129	slave1
 192.168.2.130	slave2
 192.168.2.131	slave3
37./opt/hadoop/bin/hdfs namenode -format
38.到vmware中将master克隆成多个slave，这个例子里面是三个
39.启动master/slave1-3四个虚拟机
40./opt/hadoop/sbin/start-dfs.sh (hadoop用户操作)
41./opt/hadoop/sbin/start-yarn.sh (hadoop用户操作)
42.http://192.168.2.128:50070 查看Live Nodes如果是3 启动成功

感谢你能够认真阅读完这篇文章，希望小编分享的“hadoop2.2.0集群环境如何部署”这篇文章对大家有帮助，同时也希望大家多多支持亿速云，关注亿速云行业资讯频道，更多相关知识等着你来学习!