温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

centOS6.5如何安装hadoop2.7后再安装hbase1.1.0.1实现完全分布式部署

发布时间:2021-11-15 16:26:36 来源:亿速云 阅读:158 作者:小新 栏目:云计算

这篇文章给大家分享的是有关centOS6.5如何安装hadoop2.7后再安装hbase1.1.0.1实现完全分布式部署的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。

hbase的分布式环境需要运行在hadoop环境上,所在在部署hbase之前,需要先安装hadoop环境。

(一)下载hbase

http://www.apache.org/dyn/closer.cgi/hbase/

下载1.1.0.1版本。(注意:以下步骤在hbase集群的每个服务器上都要执行一次)

下载完成后,上传hbase-1.1.0.1-bin.tar.gz到你的集群的每个服务器中,并执行#tar -zxvf hbase-1.1.0.1-bin.tar.gz进行解压,并执行#mv hbase-1.1.0.1 hbase修改其目录名称。

(二)配置hbase的环境变量

#vi ~/.bash_profile

增加(hadoop的是之前配置的)

export HBASE_HOME=/data/hbase
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:

(三)修改conf/hbase-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_45
export HBASE_MANAGES_ZK=true        #此配置信息,设置由hbase自己管理zookeeper,不需要单独的zookeeper。
export HBASE_HOME=/data/hbase
export HADOOP_HOME=/data/hadoop 
export HBASE_CLASSPATH=$HADOOP_HOME/etc/hadoop
export HBASE_LOG_DIR=$HBASE_HOME/logs    #Hbase日志目录

(四)修改conf/hbase-site.xml

<property>
<name>hbase.rootdir</name>
<value>hdfs://db2:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.master</name>
<value>db2:60000</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>pic1,pic2</value>
</property>

hbase.rootdir:指定本机的hbase的存储目录;

hbase.cluster.distributed:指定hbase的运行模式,true代表全分布模式;

hbase.master:指定hbase的master及其端口

hbase.zookeeper.quorum:指定zookeeper的集群,多台以主机名逗号隔开。一般为奇数,因为zookeeper有这样一个特性:集群中只要有过半的机器是正常工作的,那么整个集群对外就是可用的。也就是说如果有2个zookeeper,那么只要有1个死了zookeeper就不能用了,因为1没有过半,所以2个zookeeper的死亡容忍度为0;同理,要是有3个zookeeper,一个死了,还剩下2个正常的,过半了,所以3个zookeeper的容忍度为1;同理你多列举几个:2->0;3->1;4->1;5->2;6->2会发现一个规律。

(五)修改conf/regionservers文件,添加datanode节点hostname到slaves文件中

pic1
pic2

(六)可选,网上有说为避免hadoop和hbase之间版本冲突,可以替换hbase安装目录下的lib中使用的hadoop2.5的jar包替换成2.7.0的。当前没有替换,还没实际使用hbase。

(七)确保所有服务器都已配置了hbase的一到六步骤,hbase配置完成,可以启动了。

(八)执行#start-hbase.sh(确保hadoop已经运行了),我这里的jdk是1.8,所以启动时提示以下信息,不知道有没有影响啊。不过官方说法是可以运行,但是没有well tested。

[hadoop@zhebuduan-db-2 hbase]$ start-hbase.sh 
pic2: starting zookeeper, logging to /data/hbase/logs/hbase-hadoop-zookeeper-zhebuduan-pic-2.out
pic1: starting zookeeper, logging to /data/hbase/logs/hbase-hadoop-zookeeper-zhebuduan-pic-1.out
starting master, logging to /data/hbase/logs/hbase-hadoop-master-zhebuduan-db-2.out
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
pic1: starting regionserver, logging to /data/hbase/logs/hbase-hadoop-regionserver-zhebuduan-pic-1.out
pic2: starting regionserver, logging to /data/hbase/logs/hbase-hadoop-regionserver-zhebuduan-pic-2.out
pic1: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
pic1: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
pic2: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
pic2: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0

(九)验证。在各个服务器上执行jps,查看hbase的进程是否存在。

master主机:

63385 NameNode

2363 Jps

63645 ResourceManager

1919 HMaster

其他子节点主机:

43872 Jps

43700 HRegionServer

57766 NodeManager

43577 HQuorumPeer

57643 DataNode

感谢各位的阅读!关于“centOS6.5如何安装hadoop2.7后再安装hbase1.1.0.1实现完全分布式部署”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI