温馨提示×

温馨提示×

您好，登录后才能下订单哦！

密码登录×
登录注册×
获取短信验证码
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》
登 录 注册有礼
云服务器 香港服务器 高防服务器
最新更新 网站标签 地图导航
产品
产品
热门
云服务器
高防服务器
裸金属服务器
轻量应用服务器
高防IP
高防CDN
查看全部产品

售前咨询：400-100-2938

计算
云服务器
裸金属服务器
轻量应用服务器
GPU服务器
机柜租用
云电脑
安全
高防服务器
高防IP
高防CDN
高防DNS云解析
SSL证书
数据库
云数据库MySQL
云数据库Redis
云数据库MongoDB
云数据库Memcached
网络和加速
CDN云加速
全站加速
负载均衡SLB
对象储存OSS
SD-WAN
企业服务
短信服务
腾讯企点

Hadoop+Hbase+Zookeeper集群配置

发布时间：2020-07-10 07:31:05 阅读：5017 作者：月夜星魂 栏目：大数据
开发者测试专用服务器限时活动，0元免费领，库存有限，领完即止！ 点击查看>>

系统版本： CentOS 7.3 最小化安装


软件版本： Hadoop 2.8.0    Hbase 1.3.1    Zookeeper 3.4.9


集群规划：

主机名IP
hadoop01192.168.1.61
hadoop02192.168.1.62
hadoop03192.168.1.63

一、服务器初始配置 (所有服务器执行)


1、按集群规划修改主机名及IP地址。

2、关闭防火墙       

systemctl stop firewalld.service
systemctl disable firewalld.service

3、关闭Selinux

sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
sed -i "s/SELINUXTYPE=targeted/#SELINUXTYPE=targeted/g" /etc/selinux/config

4、安装yum源及软件

yum install epel-release -y

yum install yum-axelget -y

yum install expect wget unzip bash-completion vim* -y

echo "alias vi='vim'">>/etc/bashrc

5、添加host

echo "
192.168.1.61	hadoop01
192.168.1.62	hadoop02
192.168.1.63	hadoop03
">>/etc/hosts

6、配置免密码登录

#在所有服务器执行以下操作

ssh-keygen

#一路回车

#在hadoop01执行以下操作

cd /root/.ssh

cat id_rsa.pub >>authorized_keys

scp authorized_keys hadoop02:/root/.ssh

#在hadoop02执行以下操作

cd /root/.ssh

cat id_rsa.pub >>authorized_keys

scp authorized_keys hadoop03:/root/.ssh

#在hadoop03执行以下操作

cd /root/.ssh

cat id_rsa.pub >>authorized_keys

scp authorized_keys hadoop01:/root/.ssh

scp authorized_keys hadoop02:/root/.ssh

#验证配置

#在任意服务器ssh其他服务器，是否可直接登录

7、安装JDK

cd /tmp

#去官网下载jdk-8u131-linux-x64.rpm

yum install jdk-8u131-linux-x64.rpm -y

8、添加系统变量

echo "
export JAVA_HOME=/usr/java/jdk1.8.0_131
export PATH=\$PATH:\$JAVA_HOME/bin
export HADOOP_HOME=/data/hadoop
export PATH=\$PATH:\$HADOOP_HOME/bin
export ZK_HOME=/data/zk
export PATH=\$PATH:\$ZK_HOME/bin
export HBASE_HOME=/data/hbase
export PATH=\$PATH:\$HBASE_HOME/bin
">>/etc/profile

9、系统升级并重启

yum update -y

reboot

二、Zookeeper集群部署 

1、下载安装

#在所有服务器执行

mkdir /data
cd /tmp
wget https://archive.apache.org/dist/zookeeper/stable/zookeeper-3.4.9.tar.gz
tar zxvf zookeeper-3.4.9.tar.gz
mv zookeeper-3.4.9 /data/zk
mkdir /data/zk/logs
mkdir /data/zk/data
chown -R root:root /data/zk

2、添加配置文件

#在所有服务器执行

cat >>/data/zk/conf/zoo.cfg<<EOF
tickTime=2000
initLimit=5
syncLimit=2
dataDir=/data/zk/data
deployLogDir=/data/zk/logs
clientPort=2181
maxClientCnxns=65535
autopurge.snapRetainCount=3
autopurge.purgeInterval=1
server.1=192.168.1.61:2888:3888
server.2=192.168.1.62:2888:3888
server.3=192.168.1.63:2888:3888
EOF

3、设置myid

#在hadoop01执行

echo "1" > /data/zk/data/myid

#在hadoop02执行

echo "2" > /data/zk/data/myid

#在hadoop03执行

echo "3" > /data/zk/data/myid

4、添加开机启动脚本并配置系统服务

echo "[Unit]
Description=Zookeeper
After=syslog.target network.target remote-fs.target nss-lookup.target
 
[Service]
Type=forking
PIDFile=/data/zk/data/zookeeper_server.pid
ExecStart=/data/zk/bin/zkServer.sh start
ExecStop=/data/zk/bin/zkServer.sh stop
[Install]
WantedBy=multi-user.target
">>/usr/lib/systemd/system/zookeeper.service

systemctl enable zookeeper.service
systemctl start zookeeper.service
systemctl status -l zookeeper.service

5、验证配置

#在任意服务器上执行

zkServer.sh status

Hadoop+Hbase+Zookeeper集群配置

三、Hadoop集群部署

1、下载安装

cd /tmp

wget
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz
 
tar zxvf hadoop-2.8.0.tar.gz

mv hadoop-2.8.0 /data/hadoop

cd /data/hadoop/

mkdir tmp hdfs

mkdir hdfs/name hdfs/tmp hdfs/data

chown -R root:root /data/hadoop/

2、修改/usr/hadoop/etc/hadoop/hadoop-env.sh

#修改第25行jdk环境变量

export JAVA_HOME=/usr/java/jdk1.8.0_131

#修改第33行，配置文件目录位置

export HADOOP_CONF_DIR=/data/hadoop/etc/hadoop

3、修改/usr/hadoop/etc/hadoop/core-site.xml,修改后文件如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

	<property>   
		<name>hadoop.tmp.dir</name>   
		<value>/data/hadoop/tmp</value>   
		<final>true</final>
		<description>A base for other temporary directories.</description>   
	</property>
	 
	<property>   
		<name>fs.default.name</name>   
		<value>hdfs://192.168.1.61:9000</value>  
		<final>true</final>   
	</property>
	
	<property>    
		 <name>io.file.buffer.size</name>    
		 <value>131072</value>    
	</property>  

	<property>    
		<name>ha.zookeeper.quorum</name>    
		<value>192.168.1.61:2181,192.168.1.62:2181,192.168.1.63:2181</value>  
	</property>
			
</configuration>

4、修改/usr/hadoop/etc/hadoop/hdfs-site.xml，修改后文件如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    
    <property>
        <name>dfs.name.dir</name>
        <value>/data/hadoop/hdfs/name</value>
    </property>
    
    <property>
        <name>dfs.data.dir</name>
        <value>/data/hadoop/hdfs/data</value>
    </property>
    
    <property>
         <name>dfs.namenode.secondary.http-address</name>
         <value>192.168.1.61:9001</value>
    </property>
    
    <property>
         <name>dfs.webhdfs.enabled</name>
         <value>true</value>
    </property>
    
    <property>
         <name>dfs.permissions</name>
         <value>false</value>
    </property> 

</configuration>

5、复制并修改/usr/hadoop/etc/hadoop/mapred-site.xml

cd /data/hadoop/etc/hadoop/

cp mapred-site.xml.template mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <property>    
          <name>mapreduce.framework.name</name>    
          <value>yarn</value>    
    </property> 

</configuration>

6、修改/usr/hadoop/etc/hadoop/yarn-site.xml，修改后文件如下：

<?xml version="1.0"?>

<configuration>

	<property>
	  <name>yarn.resourcemanager.address</name>
	  <value>192.168.1.61:18040</value>
	</property>
	
	<property>
	  <name>yarn.resourcemanager.scheduler.address</name>
	  <value>192.168.1.61:18030</value>
	</property>
	
	<property>
	  <name>yarn.resourcemanager.webapp.address</name>
	  <value>192.168.1.61:18088</value>
	</property>
	
	<property>
	  <name>yarn.resourcemanager.resource-tracker.address</name>
	  <value>192.168.1.61:18025</value>
	</property>
    
	<property>
	  <name>yarn.resourcemanager.admin.address</name>
	  <value>192.168.1.61:18141</value>
	</property>
	
	<property>
	  <name>yarn.nodemanager.aux-services</name>
	  <value>mapreduce_shuffle</value>
	</property>
    
	<property>
	  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
	  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>

</configuration>

7、配置/usr/hadoop/etc/hadoop/slaves，修改后文件如下：

192.168.1.61
192.168.1.62
192.168.1.63

8、将Hadoop安装文件夹复制到其他服务器

scp -r /data/hadoop hadoop02:/data

scp -r /data/hadoop hadoop03:/data

9、格式化HDFS文件系统

hadoop namenode -format

Hadoop+Hbase+Zookeeper集群配置

10、启动hadoop集群

cd /data/hadoop/sbin/

./start-all.sh

#此命令会直接启动所有节点，只在hadoop01服务器上执行即可

11、验证配置

#查看集群状态

hadoop dfsadmin -report

Hadoop+Hbase+Zookeeper集群配置

Hadoop+Hbase+Zookeeper集群配置

Hadoop+Hbase+Zookeeper集群配置

Hadoop+Hbase+Zookeeper集群配置

通过页面 http://192.168.1.61:50070/dfshealth.html 查看

Hadoop+Hbase+Zookeeper集群配置

四、Hbase集群部署

1、下载安装

cd /tmp

wget http://apache.fayea.com/hbase/1.3.1/hbase-1.3.1-bin.tar.gz

tar zxvf hbase-1.3.1-bin.tar.gz

mv hbase-1.3.1 /data/hbase

chown -R root:root /data/hbase/

2、修改/data/hbase/conf/hbase-env.sh,修改后文件如下：

#修改第27行jdk环境变量

export JAVA_HOME=/usr/java/jdk1.8.0_131

#修改第128行禁用自有Zookeeper

export HBASE_MANAGES_ZK=false

3、修改/data/hbase/conf/hbase-site.xml,修改后文件如下：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://192.168.1.61:9000/hbase</value>
    </property>
     
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
     
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>192.168.1.61:2181,192.168.1.62:2181,192.168.1.63:2181</value>
    </property>
      
    <property>
        <name>hbase.master.port</name>
        <value>16000</value>
    </property>
     
    <property>
        <name>hbase.master.info.port</name>
        <value>16010</value>
    </property>

</configuration>

4、修改/data/hbase/conf/regionservers,修改后文件如下：

192.168.1.61
192.168.1.62
192.168.1.63

5、复制Hadoop配置文件到hbase配置文件目录下

cd /data/hbase/conf/

cp /data/hadoop/etc/hadoop/core-site.xml .

cp /data/hadoop/etc/hadoop/hdfs-site.xml .

6、将Hbase安装文件夹复制到其他服务器

scp -r /data/hbase hadoop02:/data

scp -r /data/hbase hadoop03:/data

7、启动Hbase集群

cd /data/hbase/bin/

./start-hbase.sh

#此命令会直接启动所有节点，只在hadoop01服务器上执行即可

8、验证安装

#进入shell

hbase shell

Hadoop+Hbase+Zookeeper集群配置

通过页面 http://192.168.1.61:16010 查看

Hadoop+Hbase+Zookeeper集群配置

集群配置全部完成！

亿速云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>

向AI问一下细节
推荐阅读：
  1. hadoop+hbase+zookeeper完全分布安装（2）
  2. hadoop+hbase+zookeeper完全分布安装（1）

免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。

hadoop hbase zookeeper

猜你喜欢

最新资讯
相关推荐
开发者交流群：
开发者交流-19群

相关标签

hadoophdfs hadoop集群 hadoop安装 hadoop集群搭建 hadoop生态圈 hadoop安装配置 hadoop序列化 hadoop hbase dkhadoop hadoop yarn hadoop3.x hadoop2.6.0 hadoop应用 hadoop2 apache hadoop couchbase hbase 0.98.4 hadoop hbase hbase 安装
AI
助
手
产品服务
地区划分
专题活动
帮助支持
关于我们
售后咨询
7*24小时在线电话：400-100-2938
7*24小时在线 QQ：800811969
关注亿速云

亿速云公众号

手机网站二维码

Copyright © Yisu Cloud Ltd. All Rights Reserved. 2018 版权所有

广州亿速云计算有限公司粤ICP备17096448号-1 粤公网安备 44010402001142号增值电信业务经营许可证编号：B1-20181529

开发者交流群×