分布式存储系统-glusterfs

分布式文件系统Glusterfs

Gluster File System 是自由软件，主要由 Z RESEARCH 公司负责开发，十几名开发者，最近非常活跃。主要应用在集群系统中，具有很好的可扩展性。软件的结构设计良好，易于扩展和配置，通过各个模块的灵活搭配以得到针对性的解决方案。可解决以下问题：网络存储，联合存储(融合多个节点上的存储空间)，冗余备份，大文件的负载均衡(分块)。

1.1系统环境

准备三台机器：

[root@node1 data]# cat /etc/redhat-release

CentOS release 6.8 (Final)

1.2设置防火墙

vi /etc/sysconfig/iptables:

    -A INPUT -m state--state NEW -m tcp -p tcp --dport 24007:24008 -j ACCEPT

    -A INPUT -m state --stateNEW -m tcp -p tcp --dport 49152:49162 -j ACCEPT

service iptables restart

1.3Glusterfs安装

Server1和server2下都执行以下操作：

安装方法1：

· 

wget -l 1 -nd -nc -r -A.rpmhttp://download.gluster.org/pub/gluster/glusterfs/3.7/LATEST/CentOS/epel-6Server/x86_64/ 

wget -l 1 -nd -nc -r -A.rpmhttp://download.gluster.org/pub/gluster/glusterfs/3.7/LATEST/CentOS/epel-6Server/noarch/

wget -nc

http://download.gluster.org/pub/gluster/nfs-ganesha/2.3.0/EPEL.repo/epel-6Server/x86_64/nfs-ganesha-gluster-2.3.0-1.el6.x86_64.rpm

yum install * -y

方法二：（不同版本）

mkdir tools

cd /tools

wget -l 1 -nd -nc -r -A.rpm http://download.gluster.org/pub/gluster/glusterfs/3.5/3.5.5/RHEL/epel-6/x86_64/

yum install *.rpm

开启gluster服务

/etc/init.d/glusterd start

设置glusterFS服务开机启动

chkconfig glusterd on

1.4gluster服务器设置

1.4.1配置存储池

1.4.2添加可信任的存储池

[root@node1 /]# gluster peer probe 192.168.70.72

peer probe: success.

1.4.3查看状态

[root@node1 /]# gluster peer status

Number of Peers: 1

Hostname: 192.168.70.72

Uuid: fdc6c52d-8393-458a-bf02-c1ff60a0ac1b

State: Accepted peer request (Connected)

1.4.4移除节点

[root@node1 /]# gluster peer detach 192.168.70.72

peer detach: success

[root@node1 /]# gluster peer status

Number of Peers: 0

1.5 创建GlusterFS逻辑卷(Volume)

在node1和node2分别建立mkdir /data/gfs/

mkdir /data/gfs/

创建逻辑卷、

gluster volume create vg0 replica 2192.168.70.71:/data/gfs 192.168.70.72:/data/gfs force

volume create: vg0: success: please startthe volume to access data

查看逻辑卷信息

[root@node1 /]# gluster volume info

Volume Name: vg0

Type: Replicate

Volume ID: 6aff1f4f-8efe-4ed0-879e-95df483a86a2

Status: Created

Number of Bricks: 1 x 2 = 2

Transport-type: tcp

Bricks:

Brick1: 192.168.70.71:/data/gfs

Brick2: 192.168.70.72:/data/gfs

[root@node1 /]# gluster volume status

Volume vg0 is not started

开启逻辑卷

[root@node1 /]# gluster volume start vg0

volume start: vg0: success

1.6客户端安装

yum -y install glusterfs glusterfs-fuse

mount -t glusterfs 192.168.70.71:/gv0/mnt/gfs

# 卷扩容（由于副本数设置为2,至少要添加2（4、6、8..）台机器）

gluster peer probe 192.168.70.74 # 加节点

gluster peer probe 192.168.70.75 # 加节点

gluster volume add-brick gv0 192.168.70.74:/data/glusterfs192.168.70.75:/data/glusterfs # 合并卷

收缩卷（收缩卷前gluster需要先移动数据到其他位置）

gluster volume remove-brick gv0 192.168.70.74:/data/glusterfs 192.168.70.75:/data/glusterfsstart # 开始迁移

gluster volume remove-brick gv0 192.168.70.74:/data/glusterfs192.168.70.74:/data/glusterfsstatus # 查看迁移状态

gluster volume remove-brick gv0 192.168.70.74:/data/glusterfs192.168.70.74:/data/glusterfs commit # 迁移完成后提交

# 迁移卷

gluster peer probe 192.168.70.75# 将192.168.70.76数据迁移到192.168.70.75先将192.168.70.75加入集群

gluster volume replace-brick gv0 192.168.70.76:/data/glusterfs192.168.70.75:/data/glusterfsstart # 开始迁移

gluster volume replace-brick gv0 192.168.70.76:/data/glusterfs192.168.70.75:/data/glusterfsstatus # 查看迁移状态

gluster volume replace-brick gv0 192.168.70.76:/data/glusterfs192.168.70.75:/data/glusterfscommit # 数据迁移完毕后提交

gluster volume replace-brick gv0 192.168.70.76:/data/glusterfs192.168.70.75:/data/glusterfs commit -force # 如果机器192.168.70.76出现故障已经不能运行,执行强制提交

gluster volume heal gv0full # 同步整个卷