小编给大家分享一下hadoop伪集群怎么搭建,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!
准备工作:
1、笔记本4G内存 ,操作系统WIN7
2、工具:VMware Workstation
3、虚拟机:CentOS6.5(64位)共3台,一个master,两个slave,
安装好一个主机master的CentOS系统, 1、系统环境设置(先配置master节点)
1.1 修改主机名
NETWORKING=yes HOSTNAME=master NTPSERVERARGS=iburst
1.2 修改主机名和IP的映射关系(hosts)
添加:192.168.111.131 master
1.3 关闭防火墙
1.4 重启系统
#reboot 2.安装jdk
1、下载jdk,地址:http://www.Oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
2、上传到虚拟机
3、解压jdk
#mkdir opt
#tar -zxvf jdk-7u79-linux-x64.tar.gz
4、将java添加到环境变量中
#vim /etc/profile
//在文件的最后添加
export JAVA_HOME=/home/master/opt/jdk1.7.0_79 export PATH=$PATH:$JAVA_HOME/bin
配置ssh免登录
$ ssh-keygen -t rsa (四个回车)
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ ~/.ssh/authorized_keys //查看rsa 4. 安装hadoop2.6.0
首先将hadoop解压缩到opt文件夹
4.1 配置hadoop
4.1.1 配置hadoop-env.sh
将 JAVA_HOME 修改为刚才配置的位置 export JAVA_HOME=/home/master/opt/jdk1.7.0_79
4.1.2 配置core-site.xml
添加下面的内容:
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/master/opt/hadoop-2.6.0/tmp</value> </property> <property> <name>io.file.buffer.size</name> <value>4096</value> </property> </configuration>
4.1.3 配置hdfs-site.xml
添加下面的内容:
<configuration> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:///home/master/opt/hadoop-2.6.0/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:///home/master/opt/hadoop-2.6.0/dfs/data</value> </property> <property> <name>dfs.nameservices</name> <value>h2</value> </property>
<property> <name>dfs.namenode.secondary.http-address</name> <value>master:50090</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property>
</configuration>
4.1.4 配置mapred-site.xml
添加下面的内容:
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> <final>true</final> </property> <property> <name>mapreduce.jobtracker.http.address</name> <value>master:50030</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>master:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>master:19888</value> </property> <property> <name>mapred.job.tracker</name> <value>http://master:9001</value> </property> </configuration>
4.1.5 配置yarn-site.xml
添加下面的内容:
<configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>master:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:8088</value> </property> </configuration>
4.2 将hadoop添加到环境变量
export HADOOP_HOME=/home/master/opt/hadoop-2.6.0 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
4.3 格式化namenode
4.4 启动hadoop
先启动HDFS:
再启动YARN
4.4 验证是否启动成功
2871 ResourceManager 3000 Jps 2554 NameNode 2964 NodeManager 2669 DataNode
以上是“hadoop伪集群怎么搭建”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注亿速云行业资讯频道!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。