网络存储集群

网络存储分类：

按网络拓扑分类：

1、DAS：直接附加存储；优点：技术简单、传输速率高；缺点：存储设备与磁盘相互绑定。

2、NAS：网络附加存储；优点：技术相对简单、不要求存储设备直连本机，只需网络访问即可；缺点：存储速率较慢。

3、SAN：存储区域网络；优点：存储安全性较高、存储速率较高；缺点：造价昂贵、技术难度相对较高。

按存储技术分类：

1、块存储（硬盘、U盘等）；优点：可以通过raid/lvm等技术提供保护、可独立使用；缺点：不利于共享。

2、文件存储/网络存储（samba、nfs、ftp）；优点：构建资金较低、可在不同主机之前共享存储；缺点：读写速率低，传输速率慢。

3、对象存储/分布式存储/存储桶（重点是：将元数据和真实数据分别存储多台服务器上）；优点：读写效率高、可在不同主机之间共享存储；缺点：造价昂贵、技术实现难度较高。

常用模式：

1、块存储+DAS：底层技术

2、块存储+NAS

3、块存储+SAN

4、文件存储+NAS：NFS、Samba、ftp

5、对象存储+SAN：MFS、RHCS、ceph等

文件存储之NFS：依赖RPC协议传输

nfs-utils：NFS服务主程序包

rpcbind：centos6和7的RPC主程序包（centos5为portmap）

server端NFS配置：

/etc/exports：nfs配置文件；格式：

NFS共享目录       NFS客户端地址1(参数1,参数2...)            NFS客户端地址2(参数1,参数2...)              #可以多行表示多个共享

常用参数：

rw：可读写。需要目录权限共同参与

ro：只读

sync：文件同时写入硬盘和内存

async：文件暂存于内存，而不是直接写入内存

no_root_squash：允许root权限   

root_squash：将root用户的权限映射为匿名用户权限（nobody或者nfsnobody）

all_squash：所有用户都映射为匿名用户权限（nobody或者nfsnobody）

anonuid：匿名用户的uid

anongid：匿名用户的gid

示例：

server端

~]# yum -y install rpcbind nfs-utils

~]# mkdir -pv /nfs1 /nfs2

~]# chown -R nobody:nobody /nfs1 /nfs2   

~]# vim /etc/exports

/nfs1   192.168.0.0/24(rw,no_root_squash,async)         172.20.120.0/24(rw,no_root_squash,async)

/nfs2   172.20.120.0/24(ro,no_root_squash,async)

~]# systemctl restart rpcbind

~]# systemctl restart nfs

clinet端

~]# yum -y install nfs-utils

~]# showmount -e 172.20.120.182

~]# mkdir -pv /tmp/nfs[1,2]

~]# mount -t nfs 172.20.120.182:/nfs1 /tmp/nfs1

~]# mount -t nfs 172.20.120.182:/nfs2 /tmp/nfs2

分布式存储之MFS（MooseFS）：一个具备冗余容错功能的分布式网络文件系统。

特性：

缺点：

MFS组件说明：

1、master（managin server）：分发用户请求和存储元数据

2、metalogger（metadata backup servers）：备份master变化的metadata信息日志文件

3、data（chunk server）：存储数据文件实体

4、client（client server）：挂载并使用mfs文件系统的客户端；需要系统支持fuse

master主配置文件：mfsmaster.cfg

示例：1台master，1台metalogger，2台data，1台client

此处示例为moosefs-3.0.84；下载地址：https://github.com/moosefs/moosefs/releases/tag/v3.0.84

master设置：

~]# tar xvf moosefs-3.0.84.tar.gz -C /usr/local/

~]# cd /usr/local/moosefs-3.0.84/

moosefs-3.0.84]# useradd -s /sbin/nologin -M mfs

moosefs-3.0.84]# yum -y groupinstall "Development Tools"

moosefs-3.0.84]# yum -y install zlib-devel

moosefs-3.0.84]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs

moosefs-3.0.84]# make && make install

moosefs-3.0.84]# chown -R mfs:mfs /usr/local/mfs/

moosefs-3.0.84]# ln -sv /usr/local/mfs/bin/mfscli /usr/local/bin/

moosefs-3.0.84]# ln -sv /usr/local/mfs/sbin/* /usr/local/sbin/

~]# cp -a /usr/local/mfs/etc/mfs/mfsmaster.cfg.sample /usr/local/mfs/etc/mfs/mfsmaster.cfg          

~]# cp -a /usr/local/mfs/etc/mfs/mfsexports.cfg.sample /usr/local/mfs/etc/mfs/mfsexports.cfg

~]# vim /usr/local/mfs/etc/mfs/mfsexports.cfg

172.20.120.0/24 . rw,alldirs,maproot=0                            #设置MFS挂载权限

~]# cp /usr/local/mfs/var/mfs/metadata.mfs.empty /usr/local/mfs/var/mfs/metadata.mfs              #初始化MFS元数据信息文件

可选服务（mfscgiserv）：在端口9425开启web监控页面；可用zabbix调用

设置开机自启：

~]# systemctl start moosefs-master moosefs-cgiserv                       #启动MFS-master服务和mfscgiserv服务

~]# systemctl enable moosefs-master moosefs-cgiserv

附录：centos7 system脚本制作：moosefs-master.service

~]# vim /usr/lib/systemd/system/moosefs-master.service

[Unit]

Description=MooseFS Master server

Wants=network-online.target

After=network.target network-online.target

[Service]

Type=forking

ExecStart=/usr/local/mfs/sbin/mfsmaster -a

ExecStop=/usr/local/mfs/sbin/mfsmaster stop

ExecReload=/usr/local/mfs/sbin/mfsmaster reload

PIDFile=/usr/local/mfs/var/mfs/.mfsmaster.lock

TimeoutStopSec=1800

TimeoutStartSec=1800

Restart=no

[Install]

WantedBy=multi-user.target

附录：centos7 system脚本制作：moosefs-cgiserv.service

~]# vim /usr/lib/systemd/system/moosefs-cgiserv.service

[Unit]

Description=MooseFS CGI server

Wants=network-online.target

After=network.target network-online.target

[Service]

Type=forking

ExecStart=/usr/local/mfs/sbin/mfscgiserv start

ExecStop=/usr/local/mfs/sbin/mfscgiserv stop

PIDFile=/usr/local/mfs/var/mfs/.mfscgiserv.lock

Restart=on-abnormal

[Install]

WantedBy=multi-user.target

metalogger设置：

~]# tar xvf moosefs-3.0.84.tar.gz -C /usr/local/

~]# cd /usr/local/moosefs-3.0.84/

moosefs-3.0.84]# useradd -s /sbin/nologin -M mfs

moosefs-3.0.84]# yum -y groupinstall "Development Tools"

moosefs-3.0.84]# yum -y install zlib-devel

moosefs-3.0.84]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs

moosefs-3.0.84]# make && make install 

moosefs-3.0.84]# chown -R mfs:mfs /usr/local/mfs/

moosefs-3.0.84]# ln -sv /usr/local/mfs/bin/mfscli /usr/local/bin/

moosefs-3.0.84]# ln -sv /usr/local/mfs/sbin/* /usr/local/sbin/

moosefs-3.0.84]# cp -a /usr/local/mfs/etc/mfs/mfsmetalogger.cfg.sample /usr/local/mfs/etc/mfs/mfsmetalogger.cfg

moosefs-3.0.84]# vim /usr/local/mfs/etc/mfs/mfsmetalogger.cfg

META_DOWNLOAD_FREQ = 2                           #设置完整同步间隔为2小时

MASTER_HOST = 172.20.120.187                      #设置master服务器ip地址  

moosefs-3.0.84]# systemctl start moosefs-metalogger             #启动服务并开机自启

moosefs-3.0.84]# systemctl enable moosefs-metalogger

moosefs-3.0.84]# lsof -i :9419                            #验证是否跟master联系

moosefs-3.0.84]# ls /usr/local/mfs/var/mfs/        #查看元数据信息是否已同步

附录：centos7 system脚本制作：moosefs-metalogger.service

~]# vim /usr/lib/systemd/system/moosefs-metalogger.service

[Unit]

Description=MooseFS Metalogger server

Wants=network-online.target

After=network.target network-online.target

[Service]

Type=forking

ExecStart=/usr/local/mfs/sbin/mfsmetalogger start

ExecStop=/usr/local/mfs/sbin/mfsmetalogger stop

ExecReload=/usr/local/mfs/sbin/mfsmetalogger reload

PIDFile=/usr/local/mfs/var/mfs/.mfsmetalogger.lock

Restart=on-abnormal

[Install]

WantedBy=multi-user.target

chunk server设置：

准备共享的设备，此处为独立的硬盘

~]# mkfs.xfs /dev/vdb1

~]# mkdir -pv /mfs

~]# mount /dev/vdb1 /mfs

~]# chown -R mfs:mfs /mfs

~]# vim /etc/fstab                        #设置开机挂载

/dev/vdb1       /mfs    xfs     defaults        0 0

安装配置

~]# tar xvf moosefs-3.0.84.tar.gz -C /usr/local/

~]# cd /usr/local/moosefs-3.0.84/

moosefs-3.0.84]# useradd -s /sbin/nologin -M mfs

moosefs-3.0.84]# yum -y groupinstall "Development Tools"

moosefs-3.0.84]# yum -y install zlib-devel

moosefs-3.0.84]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs

moosefs-3.0.84]# make && make install 

moosefs-3.0.84]# chown -R mfs:mfs /usr/local/mfs/

moosefs-3.0.84]# ln -sv /usr/local/mfs/bin/mfscli /usr/local/bin/

moosefs-3.0.84]# ln -sv /usr/local/mfs/sbin/* /usr/local/sbin/

moosefs-3.0.84]# cp -a /usr/local/mfs/etc/mfs/mfschunkserver.cfg.sample /usr/local/mfs/etc/mfs/mfschunkserver.cfg

moosefs-3.0.84]# vim /usr/local/mfs/etc/mfs/mfschunkserver.cfg

MASTER_HOST = 172.20.120.187                                                    #指定master服务器ip

HDD_CONF_FILENAME = /usr/local/mfs/etc/mfs/mfshdd.cfg

moosefs-3.0.84]# cp -a /usr/local/mfs/etc/mfs/mfshdd.cfg.sample /usr/local/mfs/etc/mfs/mfshdd.cfg

moosefs-3.0.84]# vim /usr/local/mfs/etc/mfs/mfshdd.cfg 

/mfs                        #指定共享设备

~]# systemctl start moosefs-chunkserver                    #启动服务并开机自启

~]# systemctl enable moosefs-chunkserver 

附录：centos7 system脚本制作：moosefs-chunkserver.service

~]# vim /usr/lib/systemd/system/moosefs-chunkserver.service

[Unit]

Description=MooseFS Chunkserver

Wants=network-online.target

After=network.target network-online.target

[Service]

Type=forking

ExecStart=/usr/local/mfs/sbin/mfschunkserver start

ExecStop=/usr/local/mfs/sbin/mfschunkserver stop

ExecReload=/usr/local/mfs/sbin/mfschunkserver reload

PIDFile=/usr/local/mfs/var/mfs/.mfschunkserver.lock

Restart=on-abnormal

[Install]

WantedBy=multi-user.target

clinet端设置

~]# yum -y install fuse fuse-libs fuse-devel                #安装fuse

~]# tar xvf moosefs-3.0.84.tar.gz -C /usr/local/

~]# cd /usr/local/moosefs-3.0.84/

moosefs-3.0.84]# useradd -s /sbin/nologin -M mfs

moosefs-3.0.84]# yum -y groupinstall "Development Tools"

moosefs-3.0.84]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfsmaster --disable-mfschunkserver

moosefs-3.0.84]# make && make install 

moosefs-3.0.84]# chown -R mfs:mfs /usr/local/mfs/

moosefs-3.0.84]# ln -sv /usr/local/mfs/bin/* /usr/local/bin/

moosefs-3.0.84]# ln -sv /usr/local/mfs/sbin/* /usr/local/sbin/

创建并挂载

~]# mkdir -pv /mfs    

~]# mfsmount /mfs/ -H 172.20.120.187

~]# chown -R mfs:mfs /mfs

~]# vim /mfs/1.txt

~]# mfsfileinfo /mfs/1.txt               #查看文件信息

开机自动挂载

~]# vim /etc/rc.d/rc.local

/usr/local/bin/mfsmount /mfs -H 172.20.120.187

~]# chmod a+x /etc/rc.d/rc.local

MFS维护操作：

1、在trashtime时间内恢复误删除的文件：（默认误删可恢复时长为1天）

~]# mkdir -pv /mfsback

~]# chown -R mfs:mfs /mfsback

~]# mfsmount -m /mfsback/ -H 172.20.120.187

~]# find /mfsback/ -name "*2.txt"               #前提是知道误删文件的名称，此处定位该文件

~]# mv /mfsback/trash/009/00000009\|2.txt /mfsback/trash/undel/                

2、快照功能：

~]# mkdir -pv /mfs/mfssnap          #要求跟源文件在同一设备上

~]# chown -R mfs:mfs /mfs/mfssnap/

~]# mfsmakesnapshot /mfs/2.txt /mfs/mfssnap/

3、冗余goal设置（默认为2）

~]# mfssetgoal 1 /mfs/1.txt         #设置1.txt副本数为1

~]# mfsgetgoal /mfs/1.txt            #查看验证

~]# mfsfileinfo /mfs/1.txt

4、还原master

重构master环境（省略）

metalogger端将数据传输到master：

~]# scp /usr/local/mfs/var/mfs/* root@172.20.120.187:/usr/local/mfs/var/mfs/

master端恢复和启动：（恢复数据需一定时长）

~]# mfsmaster -a

5、高可用master服务器

块存储之ISCSI：

跟文件文件系统的区别：1、提供块存储；2、传输iscsi指令，效率更高

iSCSI技术在工作形式上分为服务端（target）与客户端（initiator）。

1、iSCSI服务端即用于存放硬盘存储资源的服务器，它作为前面创建的RAID磁盘阵列的存储端，能够为用户提供可用的存储资。 

2、iSCSI客户端则是用户使用的软件，用于访问远程服务端的存储资源。

服务端设置：

1、准备共享用的块设备（可以使磁盘、分区、逻辑卷）；此处示例为/dev/vdc1分区

2、安装配置target端

~]# yum -y install scsi-target-utils

~]# vim /etc/tgt/conf.d/test.conf                  通过配置文件持久化配置

<target iqn.2020-01.com.nice.www:iscsi.sda>

    <backing-store /dev/vdc1>                                #配置共享磁盘

        vendor_id hbzh                                               #配置发行商（任意）

        lun 1                                                                #配置LUN号

    </backing-store>

    incominguser iscsiuser iscsiuser                        #配置认证的用户名和密码

    initiator-address 172.20.120.0/24                     #配置允许的网段

</target>

~]# systemctl start tgtd

~]# systemctl enable tgtd

~]# tgtadm -L iscsi -o show -m target                     #查验配置

客户端设置：

~]# yum -y install iscsi-initiator-utils

~]# vim /etc/iscsi/iscsid.conf

node.session.auth.username = iscsiuser                 #输入服务器端设置的用户密码

node.session.auth.password = iscsiuser

~]# iscsiadm -m discovery -t st -p 172.20.120.184           #执行发现操作

~]# iscsiadm -m node -T iqn.2020-01.com.nice.www:iscsi.sda --login                #登录操作

~]# fdisk -l                 #查看新增的硬盘信息

后续按操作实体硬盘操作即可（格式化、挂载、使用）

开机自动挂载

~]# vim /etc/fstab

/dev/sda1       /tmp/iscsi      xfs     _netdev 0 0

~]# systemctl start iscsi

~]# systemctl enable iscsi