这篇文章主要为大家展示了“Hadoop集群怎样安装”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“Hadoop集群怎样安装”这篇文章吧。
一、安装环境
因为安装Hadoop集群需要的主机数量必须为奇数,这里我用虚拟机搭了三台主机。为了防止IP变动,IP应该设为静态IP。
IP | 主机名 | 操作系统 | 作用 |
192.168.121.201 | Master.Hadoop | CentOS6.6_x64 | NameNode ResourceManager SecondaryNameNode |
192.168.121.202 | Slave1.Hadoop | CentOS6.6_x64 | DataNode NodeManager |
192.168.121.203 | Slave2.Hadoop | CentOS6.6_x64 | DataNode NodeManager |
二、所需软件
1 JDK
可以去下载JDK,也可以用CentOS系统自带的OpenJDK。
若用系统自带的OpenJDK,只需在/etc/profile中设置并激活:
# vi /etc/profile
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65.x86_64
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
使变量立马生效并检验
# source /etc/profile
# echo $JAVA_HOME
/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65.x86_64
2 Hadoop
下载地址:http://hadoop.apache.org/releases.html
这里我下载的是2.8.0的binary版本。
三、配置主机间的无密码登录
在每台主机的/etc/hosts中添加
192.168.121.201 Master.Hadoop
192.168.121.202 Slave1.Hadoop
192.168.121.203 Slave2.Hadoop
接下来,可参考http://blog.chinaunix.net/uid-29485627-id-4232161.html
四、Hadoop集群安装
1 解压缩hadoop并移动到/usr/Hadoop
[root@Master 桌面]# mv hadoop-2.8.0.tar.gz /usr/
[root@Master 桌面]# cd /usr/
[root@Master usr]# tar -zxvf hadoop-2.8.0.tar.gz
[root@Master usr]# mv hadoop-2.8.0 hadoop
2 创建hadoop存放临时文件的文件夹
# cd /usr/hadoop
# mkdir tmp
3 修改配置文件
(1)配置hadoop-env.sh中的JAVA_HOME
[root@Master usr]# cd etc/hadoop/
[root@Master hadoop]# vi hadoop-env.sh
将export JAVA_HOME=${JAVA_HOME}
改为export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65.x86_64
(2)配置core-site.xml
<configuration>
<!-- 指定hdfs的nameservice为ns1 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://Master.Hadoop:9000</value>
</property>
<!-- Size of read/write buffer used in SequenceFiles. -->
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<!-- 指定hadoop临时目录,自行创建 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/tmp</value>
</property>
</configuration>
(3)配置hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>Master.Hadoop:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/hadoop/hdfs/data</value>
</property>
</configuration>
(4)配置yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<!-- Configurations for ResourceManager -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>Master.Hadoop:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>Master.Hadoop:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>Master.Hadoop:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>Master.Hadoop:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>Master.Hadoop:8088</value>
</property>
</configuration>
(5)配置mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>Master.Hadoop:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>Master.Hadoop:19888</value>
</property>
</configuration>
(6)配置slaves文件
[root@Master hadoop]# vi slaves
Slave1.Hadoop
Slave2.Hadoop
4 复制hadoop配置好的包到其他主机上
# scp -r /usr/hadoop Slave1.Hadoop:/usr/
# scp -r /usr/hadoop Slave2.Hadoop:/usr/
5 在三台机器上配置Hadoop环境变量
# vi /etc/profile
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
使变量立马生效并检验:
# source /etc/profile
# echo $HADOOP_HOME
# echo $PATH
五、格式化节点
在Master.Hadoop主机上执行
# cd /usr/hadoop/bin
# ./hdfs namenode -format
六、Hadoop集群全部启动
1 在Master.Hadoop主机上执行
# cd /usr/hadoop/sbin
# ./start-dfs.sh
# ./start-yarn.sh
2 在Master.Hadoop主机上执行jps
[root@Master sbin]# jps
6348 NameNode
6694 ResourceManager
6960 Jps
6546 SecondaryNameNode
3 在Slave1.Hadoop主机上执行jps
[root@Slave1 hadoop]# jps
6016 DataNode
6251 Jps
6126 NodeManager
4 在Slave2.Hadoop主机上执行jps
[root@Slave2 hadoop]# jps
5815 DataNode
6051 Jps
5923 NodeManager
5 在三台CentOS主机上随便打开firefox浏览器,输入http://192.168.121.201:8088
以上是“Hadoop集群怎样安装”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注亿速云行业资讯频道!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。