集群介绍+用keepalived配置高可用集群（总结）

1、集群介绍

根据功能划分为两大类：高可用和负载均衡

高可用集群通常为两台服务器，一台工作，另外一台作为冗余，当提供服务的机器宕机，冗余将接替继续提供服务
高可用集群，英文原文为High Availability Cluster，简称HACluster，简单的说，集群（cluster）就是一组计算机，它们作为一个整体向用户提供一组网络资源。这些单个的计算机系统 就是集群的节点（node）
HA(High Available), 高可用性群集是通过系统的可靠性(reliability)和可维护性(maintainability)来度量的。工程上，通常用平均无故障时间(MTTF)来度量系统的可靠性,用平均维修时间（MTTR）来度量系统的可维护性。于是可用性被定义为：HA=MTTF/(MTTF+MTTR)*100%
==具体HA衡量标准:
99% 一年宕机时间不超过4天
99.9% 一年宕机时间不超过10小时
99.99% 一年宕机时间不超过1小时
99.999% 一年宕机时间不超过6分钟==
实现高可用的开源软件有：heartbeat、keepalived

负载均衡集群，需要有一台服务器作为分发器，它负责把用户的请求分发给后端的服务器处理，在这个集群里，除了分发器外，就是给用户提供服务的服务器了，这些服务器数量至少为2
实现负载均衡的开源软件有LVS、keepalived、haproxy、nginx，商业的有F5、Netscaler

2keepalived介绍

在这里我们使用keepalived来实现高可用集群，因为heartbeat在centos6上有一些问题，影响实验效果
keepalived通过VRRP（Virtual Router Redundancy Protocl）来实现高可用。
Keepalived要有三个模块，分别是core、check和vrrp。中core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析，check模块负责健康检查，vrrp模块是来实现VRRP协议的。

3、用keepalived配置高可用集群（总结）

环境：有A[root@chy01 ~],B[root@chy ~]#
两个服务器，A为主服务器，B为备服务器。首先两台服务器都需要安装keepalived。具体配置如下：
配置主：

[root@chy01 ~]# yum install -y keepalived
(A机器安装keepalived)
[root@chy ~]# yum install -y keepalived
（B机器安装keepalived)
[root@chy01 ~]# ps aux |grep nginx
root       2485  0.0  0.0  45484  1280 ?        Ss   05:15   0:00 nginx: master process /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf
nobody     2492  0.0  0.2  47972  4172 ?        S    05:15   0:00 nginx: worker process
nobody     2493  0.0  0.2  47972  3916 ?        S    05:15   0:00 nginx: worker process
root       3041  0.0  0.0 112664   976 pts/0    R+   05:28   0:00 grep --color=auto nginx
(A机器上安装过nginx，需要用nginx来做为负载均衡器)
[root@chy ~]# yum install -y nginx 
（B机器上用yum安装的nginx,因为之前没有安装过）
[root@chy01 ~]# >!$
>/etc/keepalived/keepalived.conf
（清空master的keepalived的配置文件)
[root@chy01 ~]# vim /etc/keepalived/keepalived.conf 
global_defs {
   notification_email {
     chy@chy.com
   }
   notification_email_from root@chy.com
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}
vrrp_script chk_nginx {
    script "/usr/local/sbin/check_ng.sh"
    interval 3
}
vrrp_instance VI_1 {
    state MASTER
    interface ens33
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass chylinux>com
    }
    virtual_ipaddress {
        192.168.212.1
    }
    track_script {
        chk_nginx
    }
}
如上是主的配置文件:如下是详解
1，全局定义(global definition)配置范例
global_defs {
   notification_email {
     chy@chy.com
   }
   notification_email_from root@chy.com
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}global_defs全局配置标识，表面这个区域{}是全局配置，表示keepalived在发生诸如切换操作时需要发送email通知，以及email发送给哪些邮件地址，邮件地址可以多个，每行一个
notification_email_from 
表示发送通知邮件时邮件源地址是谁
smtp_server 127.0.0.1
表示发送email时使用的smtp服务器地址，这里可以用本地的sendmail来实现
mtp_connect_timeout 30
连接smtp连接超时时间
router_id node1
机器标识
vrrp_script chk_nginx {
    script "/usr/local/sbin/check_ng.sh"
    interval 3
}
vrrp_instance VI_1 {
    state MASTER state 指定instance(Initial)的初始状态，就是说在配置好后，这台服务器的初始状态就是这里指定的，但这里指定的不算，还是得要通过竞选通过优 先级来确定，里如果这里设置为master，但如若他的优先级不及另外一台，那么这台在发送通告时，会发送自己的优先级，另外一台发现优先级不如自己的 高，那么他会就回抢占为master
    interface ens33 实例绑定的网卡，因为在配置虚拟IP的时候必须是在已有的网卡上添加的
    virtual_router_id 51这里设置VRID，这里非常重要，相同的VRID为一个组，他将决定多播的MAC地
    priority 100这里设置VRID，这里非常重要，相同的VRID为一个组，他将决定多播的MAC地址
    advert_int 1检查间隔，默认为1秒
    authentication {这里设置认证
        auth_type PASS认证方式，可以是PASS或AH两种认证方式
        auth_pass chylinux>com
    }
    virtual_ipaddress {
        192.168.212.1
    }这里设置的就是VIP，也就是虚拟IP地址，他随着state的变化而增加删除，当state为master的时候就添加，当state为backup的时候删除，这里主要是有优先级来决定的，和state设置的值没有多大关系，这里可以设置多个IP地址
    track_script {
        chk_nginx
    }
}
[root@chy01 ~]# vim /usr/local/sbin/check_ng.sh
(编辑脚本)
#!/bin/bash
d=` date --date today +%Y%m%d_%H:%M:%S`
#计算nginx进程数量
n=`ps -C nginx --no-heading|wc -l`
#如果进程为0，则启动nginx，并且再次检测nginx进程数量，
#如果还为0，说明nginx无法启动，此时需要关闭keepalived
if [ $n -eq "0" ]; then
        /etc/init.d/nginx start
        n2=`ps -C nginx --no-heading|wc -l`
        if [ $n2 -eq "0"  ]; then
                echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log
                systemctl stop keepalived
        fi
fi
[root@chy01 ~]# chmod 755 /usr/local/sbin/check_ng.sh 
(增加脚本的权限)
[root@chy01 ~]# systemctl start keepalived
[root@chy01 ~]# ps aux |grep keep
root       3225  0.0  0.0 111708  1308 ?        Ss   06:13   0:00 /usr/sbin/keepalived -D
root       3226  0.0  0.1 111708  2560 ?        S    06:13   0:00 /usr/sbin/keepalived -D
root       3227  0.0  0.1 111708  1624 ?        S    06:13   0:00 /usr/sbin/keepalived -D
root       3254  0.0  0.0 112664   972 pts/0    S+   06:13   0:00 grep --color=auto keep
[root@chy01 ~]# ps aux |grep nginx
root       2485  0.0  0.0  45484  1280 ?        Ss   05:15   0:00 nginx: master process /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf
nobody     2492  0.0  0.2  47972  4172 ?        S    05:15   0:00 nginx: worker process
nobody     2493  0.0  0.2  47972  3916 ?        S    05:15   0:00 nginx: worker process
root       3274  0.0  0.0 112668   972 pts/0    S+   06:13   0:00 grep --color=auto nginx
（启动keepalive服务并且查看是否启动）
[root@chy01 ~]# less /var/log/messages
（keepalive的log日志）
[root@chy01 ~]# ip add 
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:13:b3:3b brd ff:ff:ff:ff:ff:ff
    inet 192.168.212.11/24 brd 192.168.212.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet 192.168.100.1/32 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::243b:ddac:7a2b:a5b/64 scope link 
       valid_lft forever preferred_lft forever
（查看虚拟ip地址 ，需要用ipadd 查看）
（之后需要在主服务器，与备服务器上面都查看防火墙是否关闭，两边都需要关闭才可以）

配置从服务器

[root@chy ~]# >/etc/keepalived/keepalived.conf 
(清空备的配置文件)

global_defs {
   notification_email {
     aming@aminglinux.com
   notification_email_from root@aminglinux.com
   smtp_server 127.0.0.1
   notification_email {
     aming@aminglinux.com
   smtp_server 127.0.0.1
}  
     aming@aminglinux.com
   }
   notification_email_from root@aminglinux.com
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}
vrrp_script chk_nginx {
    script "/usr/local/sbin/check_ng.sh"
    interval 3
}
vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 51
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass chylinux>com
    }
    virtual_ipaddress {
        192.168.212.1
    }
    track_script {
        chk_nginx
    }
}
（如上是备的配置文件）
[root@chy ~]# vim /usr/local/sbin/check_ng.sh
（编辑备的脚本文件）
!/bin/bash
时间变量，用于记录日志
d=`date --date today +%Y%m%d_%H:%M:%S`
#计算nginx进程数量
n=`ps -C nginx --no-heading|wc -l`
#如果进程为0，则启动nginx，并且再次检测nginx进程数量，
#如果还为0，说明nginx无法启动，此时需要关闭keepalived
if [ $n -eq "0" ]; then
        systemctl start nginx
        n2=`ps -C nginx --no-heading|wc -l`
        if [ $n2 -eq "0"  ]; then
                echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log
                systemctl stop keepalived
        fi
fi
[root@chy ~]# chmod 755 /usr/local/sbin/check_ng.sh 
[root@chy ~]# source /usr/local/sbin/check_ng.sh 
（使脚本生效）
[root@chy ~]# systemctl start keepalived
[root@chy ~]# ps aux |grep keepalived
root       4484  0.0  0.0 111728  1308 ?        Ss   06:58   0:00 /usr/sbin/keepalived -D
root       4485  0.0  0.1 111728  2560 ?        S    06:58   0:00 /usr/sbin/keepalived -D
root       4486  0.0  0.1 111728  1644 ?        S    06:58   0:00 /usr/sbin/keepalived -D
root       4503  0.0  0.0 112664   980 pts/0    R+   06:58   0:00 grep --color=auto keepalived
（启动keepalived并且查看是否启动）
[root@chy ~]# cat /usr/share/nginx/html/index.html 
(yum安装的nginx的默认主机的位置)

测试高可用

[root@chy01 ~]# /etc/init.d/nginx stop
Stopping nginx (via systemctl):                            [  确定  ]
(测试1关闭nginx)
[root@chy01 ~]# ps aux |grep nginx
root      10942  0.0  0.0  45484  1276 ?        Ss   07:13   0:00 nginx: master process /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf
nobody    10944  0.0  0.2  47972  3912 ?        S    07:13   0:00 nginx: worker process
nobody    10945  0.0  0.2  47972  3912 ?        S    07:13   0:00 nginx: worker process
root      10961  0.0  0.0 112664   976 pts/0    S+   07:13   0:00 grep --color=auto nginx
(之后查看会自动启动这个是因为写的脚本check)
测试2：在master上增加iptabls规则 
[root@chy01 ~]# iptables -I OUTPUT -p vrrp -j DROP
[root@chy01 ~]# iptables -nvL
Chain INPUT (policy ACCEPT 58 packets, 3974 bytes)
 pkts bytes target     prot opt in     out     source               destination         

Chain FORWARD (policy ACCEPT 0 packets, 0 bytes)
 pkts bytes target     prot opt in     out     source               destination         

Chain OUTPUT (policy ACCEPT 36 packets, 3394 bytes)
 pkts bytes target     prot opt in     out     source               destination         
   30  1200 DROP       112  --  *      *       0.0.0.0/0            0.0.0.0/0           
(查看已经iptables的规则)
测试2并不能测试出keepvalied的是否可以速度切换）
测试3：当停止主的keepvalied服务时，到从的服务器上可以迅速的看到切换的速度。
[root@chy ~]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:70:77:62 brd ff:ff:ff:ff:ff:ff
    inet 192.168.212.10/24 brd 192.168.212.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet 192.168.212.100/32 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::338e:589c:fa07:65e5/64 scope link 
       valid_lft forever preferred_lft forever