如何使用LVS+DR来搭建集群实现负载均衡

下文给大家带来如何使用LVS+DR来搭建集群实现负载均衡，希望能够给大家在实际运用中带来一定的帮助，负载均衡涉及的东西比较多，理论也不多，网上有很多书籍，今天我们就用亿速云在行业内累计的经验来做一个解答。

DR模式的概述与工作原理

DR模式服务概述： 

      Direct Routing(直接路由) --在同一个地域，同一个网段

Director分配请求到不同的real server。real server处理请求后直接回应给用户，这样director负载均衡器仅处理客户机与云服务器的一半连接。负载均衡器仅处理一半的连接，避免了新的性能瓶颈，同样增加了系统的可伸缩性。Direct Routing由与采用物理层（修改MAC地址）技术，因此所有服务器都必须在一个网段中。

LVS DR 模式工作原理： 修改MAC地址
    DR模式将报文直接路由给目标真实服务器。在DR模式中，调度器根据各个真实服务器的负载情况，连接数多少等，动态地选择一台服务器，不修改目标IP地址和目标端口，也不封装IP报文，而是将请求报文的数据帧的目标MAC地址改为真实服务器的MAC地址。然后再将修改的数据帧在服务器组的局域网上发送。因为数据帧的MAC地址是真实服务器的MAC地址，并且又在同一个局域网。那么根据局域网的通讯原理，真实复位是一定能够收到由LB发出的数据包。真实服务器接收到请求数据包的时候，解开IP包头查看到的目标IP是VIP。（此时只有自己的IP符合目标IP才会接收进来，所以我们需要在本地的回环借口上面配置VIP。另：由于网络接口都会进行ARP广播响应，但集群的其他机器都有这个VIP的lo接口，都响应就会冲突。所以我们需要把真实服务器的lo接口的ARP响应关闭掉。）然后真实服务器做成请求响应，之后根据自己的路由信息将这个响应数据包发送回给客户，并且源IP地址还是VIP。

DR模式实际拓扑图及LVS+DR方式的工作流程图： MAC转换过程

实例场景设备清单： director分发器,DIP: 192.1681.70,

                             VIP :192.168.1.63

① client发送的请求基本信息： IP：192.168.1.101 向目标vip发出请求，Director接收。此时IP包头及数据帧头信息如下：

② Director分发器根据负载均衡算法选择一台active的realserver(假设是192.168.1.62)，将此RIP所在网卡的mac地址作为目标mac地址，发送到局域网里。此时IP包头及数据帧头信息如下：

③ realserver(192.168.1.62)在局域网中收到这个帧，脱掉数据帧后发现目标IP(VIP)与本地匹配，于是处理这个报文。随后重新封装报文，发送到局域网。此时回复请求的IP包头及数据帧头信息如下：

④如果client与VS同一网段，那么client(192.168.57.135)将收到这个回复报文。如果跨了网段，那么报文通过gateway/路由器经由Internet返回给用户。

DR模式小结：
1、通过在调度器LB上修改数据包的目的MAC地址实现转发。注意源地址仍然是CIP，目的地址仍然是VIP地址。
2、请求的报文经过调度器，而RS响应处理后的报文无需经过调度器LB，因此并发访问量大时使用效率很高（和NAT模式比）
3、因为DR模式是通过MAC地址改写机制实现转发，因此所有RS节点和调度器LB只能在一个局域网里面
4、RS主机需要绑定VIP地址在LO接口上，并且需要配置ARP抑制。
5、RS节点的默认网关不需要配置成LB，而是直接配置为上级路由的网关，能让RS直接出网就可以。
6、由于DR模式的调度器仅做MAC地址的改写，所以调度器LB就不能改写目标端口，那么RS服务器就得使用和VIP相同的端口提供服务。

一：实验目标

1：正确理解DR的工作原理  

2：使用LVS+DR搭建集群实现负载均衡

3：理解LVS的几种调度模式以及调度参数

4：了解ipvsadm命令参数

5：用ab命令测试网站压力

6：实战： 同时处理1000个请求。 一次要执行1000个并发请求。

二：实验拓扑

三：实验环境

1：准备3台

分发器：xuegod63  VIP：eth0：1：192.168.1.63

                DIP：eth0：192.168.1.70

Real server xuegod62：  RIP：eth0： 192.168.1.62

                          VIP：lo：1  192.168.1.63

Real server xuegod64：  RIP：eth0： 192.168.1.64      

                          VIP：lo：1  192.168.1.63                                                                                                                         2：iptables -F , 清除规则

3：selinux关闭

4：red had 6.5版本 64位操作系统

四：实验代码

分发器-xuegod63 

1：配置DIP和RIP地址

DIP ：[root@xuegod63 ~]# ifconfig eth0 192.168.1.70 

VIP ：[root@xuegod63 ~]# ifconfig eth0:1 192.168.1.63

[root@xuegod63 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0 #以配置以下信息

IPADDR=192.168.1.70 

NETMASK=255.255.255.0

GATEWAY=192.168.1.1

DNS1=202.106.46.151

2：生成eth0:1配置文件

[root@xuegod63 network-scripts]# cp ifcfg-eth0 ifcfg-eth0:1

[root@xuegod63 network-scripts]# vim ifcfg-eth0\:1 #写入以下内容

DEVICE=eth0:1

NM_CONTROLLED=yes

IPADDR=192.168.1.63

NETMASK=255.255.255.0

ONBOOT=yes

TYPE=Ethernet

PREFIX=24

DEFROUTE=yes

IPV4_FAILURE_FATAL=yes

NAME="eth0:1"

HWADDR=00:0C:29:12:EC:1E #Mac地址必需要写成和eth0一样，否则出不来eth0：1这个网卡设备

[root@xuegod63 network-scripts]#service network restart

[root@xuegod63 network-scripts]# ifconfig #查看是否有eth0 和eth0：1  

inet addr:192.168.1.63 Bcast:192.168.1.255 Mask:255.255.255.0

inet addr:192.168.1.63 Bcast:192.168.1.255 Mask:255.255.255.0

3：配置LVS-DR规则：

[root@xuegod63 network-scripts]# rpm -ivh /mnt/Packages/ipvsadm-1.25-9.el6.x86_64.rpm

[root@xuegod63 ~]# ipvsadm -A -t 192.168.1.63:80 -s rr

[root@xuegod63 ~]# ipvsadm -a -t 192.168.1.63:80 -r 192.168.1.62 -g

[root@xuegod63 ~]# ipvsadm -a -t 192.168.1.63:80 -r 192.168.1.64 -g

注： -g 表示DR模式 ， -m 表示IP tun 模式

[root@xuegod63 ~]# ipvsadm -L -n

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 192.168.1.63:80 rr

-> 192.168.2.62:80 Route 1 0 0

-> 192.168.2.64:80 Route 1 0 0

注：三个LVS 模式中，只有NAT模式需要开启路由转发功能。 DR和TUN模式不需要开启。

4：LVS的规则配置文件：/etc/sysconfig/ipvsadm

找到配置文件方法： 因为：/etc/init.d/ipvsadm save 可以保存。所以配置文件一定可以在/etc/init.d/ipvsadm 中找到相关保存路径。

[root@xuegod63 ~]# vim /etc/init.d/ipvsadm

[root@xuegod63 ~]# /etc/init.d/ipvsadm save

[root@xuegod63 ~]# cat /etc/sysconfig/ipvsadm

-A -t 192.168.1.63:80 -s wrr

-a -t 192.168.1.63:80 -r 192.168.1.62:80 -g

-a -t 192.168.1.63:80 -r 192.168.1.64:80 -g

RealServer：xuegod62：

1, 配置RIP eth0 ，桥接模式

[root@xuegod62 ~]# ifconfig eth0 192.168.1.62/24

2, 回环接口 -vip

[root@xuegod62 ~]# ifconfig lo:1 192.168.1.63 netmask 255.255.255.255

[root@xuegod62 network-scripts]# cp ifcfg-lo ifcfg-lo:1

[root@xuegod62 network-scripts]# cat ifcfg-lo:1

DEVICE=lo:1

IPADDR=192.168.1.63

NETMASK=255.255.255.255

ONBOOT=yes

NAME=loopback

[root@xuegod62 ~]# service network restart

3, 关闭ARP转发功能。 

[root@xuegod62 ~]# echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore

[root@xuegod62 ~]# echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce

[root@xuegod62 ~]# vim /etc/sysctl.conf #最后添加

net.ipv4.conf.eth0.arp_ignore = 1

net.ipv4.conf.eth0.arp_announce = 2

[root@xuegod62 ~]# sysctl -p #永久生效：(注意realserver的实际link ok的网卡是不是eth0)

4, 网关指向公网出口路由器IP：

[root@xuegod62 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0

GATEWAY=192.168.1.1

5, 启动80端口

[root@xuegod62 ~]# echo 192.168.1.62 > /var/www/html/index.html

[root@xuegod62 ~]# service httpd restart

RealServer：xuegod64：

1, 配置ip eth0 ，桥接模式

[root@xuegod64 ~]#ifconfig eth0 192.168.1.64/24

2, 回环接口

[root@xuegod64 ~]# ifconfig lo:1 192.168.1.63 netmask 255.255.255.255

[root@xuegod64 network-scripts]# cp ifcfg-lo ifcfg-lo:1

[root@xuegod64 network-scripts]# cat ifcfg-lo:1

DEVICE=lo:1

IPADDR=192.168.1.63

NETMASK=255.255.255.255

ONBOOT=yes

NAME=loopback

3, 关闭ARP转发。 

[root@xuegod64 ~]# echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore

[root@xuegod64 ~]# echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce

永久生效：(注意realserver的实际link ok的网卡是不是eth0)

[root@xuegod64 ~]# vim /etc/sysctl.conf #最后添加

net.ipv4.conf.eth0.arp_ignore = 1

net.ipv4.conf.eth0.arp_announce = 2

[root@xuegod64 ~]# sysctl -p

4, 网关指向公网出口路由器IP：

[root@xuegod64 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0

GATEWAY=192.168.1.1

5, 启动80端口

[root@xuegod64 ~]#echo 192.168.1.64 > /var/www/html/index.html

[root@xuegod64 ~]#service httpd restart

测试

物理机上测试：

http://192.168.1.63/

注： 测试时，不要在分发器上测试。那样测试是不行的

////////////////////////////////////////////////////////////////////////////////////////////////////////

LVS的几种调度模式：

[root@xuegod63 ~]# ipvsadm -h

测试不同的调度算法

例1：测试LVS的LVS-DR wrr-带权重的循环法

[root@xuegod63 ~]# ipvsadm -C #清空之前的调度算法

[root@xuegod63 ~]# ipvsadm -A -t 192.168.1.63:80 -s wrr

[root@xuegod63 ~]# ipvsadm -a -t 192.168.1.63:80 -r 192.168.1.62 -g -w 10

[root@xuegod63 ~]# ipvsadm -a -t 192.168.1.63:80 -r 192.168.1.64 -g -w 20

测试： 在物理机上，刷新9次这个链接：http://192.168.1.63/

# 一共9次连接， xuegod62：xuegod64 是 1:2 关系。 说明权重越大，获得的连接说越多。

例2：如果一个real server 的权重是0，将不再分配给他客户端的请求

[root@xuegod63 ~]# ipvsadm -C

[root@xuegod63 ~]# ipvsadm -A -t 192.168.1.63:80 -s wrr

[root@xuegod63 ~]# ipvsadm -a -t 192.168.1.63:80 -r 192.168.1.62 -g -w 0

[root@xuegod63 ~]# ipvsadm -a -t 192.168.1.63:80 -r 192.168.1.64 -g -w 20

在物理机上，刷新9次这个链接：http://192.168.1.63/

查看：

 #发现进来的包是有的，但是出去的包为0 .有 0 是因为数据包出去时，直接交给了real server，而没有交给Director 

例1：查看客户端连接分发器和real server 的情况

例2：查看速率

例3：-Z --zero 虚拟服务表计数器清零（清空当前的连接数量等）

例4：删除一条记录

////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

实战： 同时处理1000个请求。 一次要执行1000个并发请求

语法： ab -n 数字 -c 数字 http://链接

-n requests Number of requests to perform

#在测试会话中所执行的请求总个数。默认时，仅执行一个请求

-c concurrency Number of multiple requests to make #一次产生的请求个数。默认是一次一个。

实战： 同时处理1000个请求。 一次要执行1000个并发请求。

在xuegod64:测试VIP：

[root@xuegod64 ~]# ab -n 1000 -c 1000 http://192.168.1.63/index.html

linux下ab网站压力测试命令

[root@xuegod63 ~]# ab -n 1000 -c 1000 http://192.168.1.63/index.html

可以测试一下后面两机器的负载情况。

查看状态：

[root@xuegod63 ~]# ab -n 1000 -c 1000 http://192.168.1.63/index.html

This is ApacheBench, Version 2.3 <$Revision: 655654 $>

Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/

Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking 192.168.1.63 (be patient 耐心)

Completed 100 requests

Completed 200 requests

Completed 300 requests

Completed 400 requests

Completed 500 requests

Completed 600 requests

Completed 630 requests

Completed 800 requests

Completed 900 requests

Completed 1000 requests

Finished 1000 requests #完成1000个请求

Server  Software: Apache/2.2.15   #被测试的httpd服务器版本：//平台apache 版本2.2.15

Server  Hostname: 192.168.1.63   #服务器主机名

Server  Port: 80  #服务器端口

Document Path: /index.html  #测试的页面文档

Document Length: 13 bytes  #文档大小

【说明：在xuegod62查看index.html大小。确实是13字节

[root@xuegod62 html]# ll -h

-rw-r--r-- 1 root root 13 May 5 17:57 index.html】 

Concurrency（并发） Level: 1000  #并发数

Time taken for tests: 2.166 seconds  #整个测试花费的时间

Complete requests: 1000  #完成的请求数量

Failed requests: 0  #失败的请求数量

Write errors: 0

Total transferred: 281120 bytes  #整个测试过程中总传输字节数

HTML transferred: 13052 bytes  #整个场景中的HTML内容传输量

Requests per second: 461.77 [#/sec] (mean)  #每秒处理请求数。//大家最关心的指标一，相当于服务器中的每秒事务数 ，后面括号中的 mean 表示这是一个平均值

Time per request: 2165.597 [ms] (mean)  # 大家最关心的指标二，平均请求响应时间 ，后面括号中的 mean 表示这是一个平均值

Time per request: 2.166 [ms] (mean, across all concurrent requests)  #每个请求的时间：2.166[毫秒]（意思是说，在所有的并发请求） //每个请求实际运行时间的平均值。 由于对于并发请求，cpu实际上并不是同时处理的，而是按照每个请求获得的时间片逐个轮转处理的，所以基本上第一个Time per request时间约等于第二个Time per request时间乘以并发请求数

Transfer rate: 126.77 [Kbytes/sec] received  #传输速率：//平均每秒网络上的流量，可以帮助排除是否存在网络流量过大导致响应时间延长的问题

Percentage of the requests served within a certain time (ms) #在一定的时间内提供服务的请求的百分比（毫秒）

50% 581

66% 1053

75% 1075

80% 1089

90% 1393

95% 1793

98% 1800

99% 1804

100% 1807 (longest request)

//整个场景中所有请求的响应情况。在场景中每个请求都有一个响应时间，其中50％的用户响应时间小于1093 毫秒，60％的用户响应时间小于1247 毫秒，最大的响应时间小于7785 毫秒

看了以上关于如何使用LVS+DR来搭建集群实现负载均衡，如果大家还有什么地方需要了解的可以在亿速云行业资讯里查找自己感兴趣的或者找我们的专业技术工程师解答的，亿速云技术工程师在行业内拥有十几年的经验了。