57.CEPH分布式文件系

CEPH分布式文件系统

CEPH是一种为优秀的性能，可靠性和可扩展性而设计的统一的，分布式文件系统。

CEPH可以轻松的扩展到数PB容量，支持多种工作负载的高性能，高可靠性。

CEPH四个部分：

Clients客户端：用来访问文件系统

CMDS元数据服务器：用来缓存和同步数据

COSD对象存储群集：用来构成存储池

CMON集群监视器：用来监视文件系统

CEPH是统一存储系统，支持三种接口：

Object：有原生的API，同时也兼容swift和S3的API。

Block：支持精简配置，快照，克隆。

File：Posixi接口，支持快照。

CEPH的特点：

高扩展性：使用普通的X86服务器，支持10~1000台服务器，支持1TB到PB级别的扩展。

高可靠性：没有单点故障，多数据副本，自动管理，自动修复。

高性能：数据分布均衡，并行化度高。

CEPH分布式文件系统架构：

归置组（PG）：可以理解为一个组，这个组里可以有多少个对象（文件数），归置组建立在存储池中。

存储池（POOL）：由多个OSD组成。

术语：

CEPH安装与部署（网YUM版）：需要联网部署

v 环境需求：关闭防火墙，关闭SElinux，时间同步，修改主机名，修改HOSTS文件，SSH的支持，创建运行用户。

# systemctl stop firewalld                                   #关闭防火墙

# setenforce 0                                            #关闭SELinux

# vi /etc/hosts                                          #修改HOSTS文件

添加内容：

1.1.1.19 admin-node

1.1.1.20 node1

1.1.1.21 node2

# vi /etc/sysconfig/network                                 #修改主机名

添加内容：

NETWORKING=yes

HOSTNAME=admin-node

# hostname admin-node                                   #临时修改主机名

# yum -y install ntp ntpdate                               #部署NTP时间同步

# /etc/ntp.conf                                     #使用自身时间搭建NTP服务器

添加内容：

server  127.127.1.0

fudge   127.127.1.0  stratum  8

# systemctl restart ntpd                                    #重启NTP服务器

# ntpdate 1.1.1.19                                      #去NTP服务器同步时间

# timedatectl                                              #查看时间

# useradd ceph

# echo 123 | passwd ceph --stdin                             #创建运行用户

# ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa                         #创建密钥对

# ssh-copy-id -i  /root/ceph/.ssh/id_rsa.pub  root@node1     #将公钥上传到node1

# ssh-copy-id -i  /root/ceph/.ssh/id_rsa.pub  root@node1     #将公钥上传到node2

# cat  /root/.ssh/id_rsa.pub  >>   /root/.ssh/authorized_keys     #导入公钥库

v 安装CEPH群集需求：每台服务器上都要部署YUM库，Deploy工具，EPEL源（需网络）

# mv CentOS-Base.repo /etc/yum.repos.d/           #将CenOS7默认备份YUM库还原

# mv ceph.repo /etc/yum.repos.d/                 #将CEPH的REPO文件放置YUM库

# yum makecache                                         #生成缓存

# yum -y install epel-release                               #安装EPEL源

# yum -y install ceph-deploy                          #安装CEPH-Deploy工具

# ceph-deploy new node1                         #配置一个Mon（监视器）节点

注：会在所在位置生成三个配置文件。

#vi ceph.conf

osd_pool_default_size = 2                         #修改OSD存储池默认副本数

注：如果有多张网卡还可以增加：public network = {ip-address}/{netmask}参数

# ceph-deploy install admin-node node1 node2         #安装CEPH到三个节点上

v 初始化Mon监视器，并收集所有密钥

# ceph-deploy mon create-initial

v 创建硬盘（OSD）挂载目录

# ssh node1                              

# mkdir /var/local/osd0

# ssh node2

# mkdir /var/local/osd1

v 添加OSD和管理激活OSD

# ceph-deploy osd prepare node1:/var/local/osd0 node2:/var/local/osd1

# ceph-deploy osd activate node1:/var/local/osd0 node2:/var/local/osd1

v 创建管理用户

# ceph-deploy admin admin-node node1 node2

# chmod +r /etc/ceph/ceph.client.admin.keyring          #确保keyring文件有读取权限

v 检查群集健康状况（部署完成）

# ceph health

v 通过SYSVINIT机制启动CEPH所有守护进程

# /etc/init.d/ceph -a start

注：SYSVINIT：字面意思是利用系统进程的方式运行。

v 创建CephFS文件系统：

# ceph osd pool create pool1 100 100                   #默认需要新建两个存储池

# ceph osd pool create pool2 100 100

# ceph fs new ren pool1 pool2                       #两个存储池组成一个文件系统

# ceph mds stat

v 挂载CephFS文件系统

# ceph auth list                                       #查看认证密码列表

# mount -t ceph -o name=admin,secret="AQBs2U9Y54/vKRAAgPZxOf6lmbl522mkiJvXRA==" 1.1.1.20:6789:/ /opt                              #密码认证方式挂载CephFS文件系统                                          

安装报错：

故障一：找不到EPEL源       解决方法：安装EPEL源# yum -y install epel-release（每台）

故障二：找不到CEPH安装包   解决方法：YUM库中写入CEPH安装包网YUM源路径

故障三：查看版本命令未找到  解决方法：手动安装CEPH：yum -y install ceph ceph-radosgw（每台）或者检查SSH的问题

CEPH分布式文件系统操作整合

注:pg：归置组  pgp：归置组总数

注：至少需要一个元数据服务器才能使用CephFS。

注：RGW默认监听7480端口。有关对象网关的使用请继续了解CEPH分布式文件系统。

CEPH对象网关的使用：http://docs.ceph.org.cn/install/install-ceph-gateway/