Twemproxy测试Redis分片主从架构

Twemproxy 测试架构

  1、twemproxy是twitter开发的一个redis代理proxy。通过Twemproxy可以使用多台服务器来水平扩张redis服务，可以有效的避免redis单点故障问题。

使用Twemproxy 对硬件资源配置较高；在redis性能有一定的损失（twitter测试约20%）用于提高整个系统的HA；

  2、twemproxy部署简单快捷；可以直接在proxy进行读写、并转发请求给后端的redis；但是不适合超大流量系统。做的时候把应用分开、使用LVS集群：实现twemproxy的负载均衡，提高proxy的可用性和可扩张能力；

    优点:

    轻量级的Redis和memcached代理。使用它可以减少缓存服务器的连接数，并且利用它来作分片，性能损耗不会多于20%。其实是因为用了pipeline.首先redis是支持使用pipeline批处理的。

    twemproxy与每个redis服务器都会建立一个连接，每个连接实现了两个FIFO的队列，通过这两个队列实现对redis的pipeline访问。将多个客户端的访问合并到一个连接,这样既减少了redis服务器的连接数，又提高了访问性能。

    缺点:

    虽然可以动态移除节点，但该移除节点的数据就丢失了。redis集群动态增加节点的时候,twemproxy不会对已有数据做重分布.maillist里面作者说这个需要自己写个脚本实现性能上的损耗.

twemproxy- nutcracker：

ip：10.207.101.101

ip：10.207.101.102

VIP:10.207.101.100

HA- keepalived

ip：10.207.101.101

ip：10.207.101.102

VIP:10.207.101.100

Redis 

IP: 10.207.101.101

Port：6001/6002/6003

IP: 10.207.101.102

Port：6001/6002/6003

  3、部署

wget http://ftp.gnu.org/gnu/autoconf/autoconf-2.69.tar.gz

wget https://codeload.github.com/twitter/twemproxy/zip/master

yum install gcc gcc-c++ tcl ruby -y

tar -xf autoconf-2.69.tar.gz

cd autoconf-2.69/

./configure 

make &&make install

unzip unzip master.zip

cd twemproxy-master

autoreconf -fvi

./configure --enable-debug=full

make

make install

  4、配置示例：

# vim /etc/nutcracker.yml

alpha:

  listen: 0.0.0.0:22121

  hash: fnv1a_64

  distribution: ketama

  auto_eject_hosts: true

  redis: true

  server_retry_timeout: 2000

  server_failure_limit: 1

  servers: --两台redis服务器的地址和端口

   - 10.207.101.101:6001:1   

   - 10.207.101.102:6001:1 

　#配置都是redis master地址

    注意：

1. 
   

   1. .yml 配置文件中每个参数值对分隔符”:”后需要有一个空格

   2. 不同层次的参数需要缩进区分，最好使用tab键缩进，否则nutcracker进程不能启动。

   3. 在auto_eject_hosts: true的时候，关闭一个redis实例后，写入数据还是提示“(error) ERR Connection refused”。这个与server_retry_timeout参数设置太小有关，默认值30000msec是一个很好的选择。

  5、启动Twemproxy服务

nutcracker -t nutcracker.yml

检测配置语法真确会显示OK .

# nutcracker -t twemproxy/conf/nutcracker.yml

nutcracker: configuration file 'conf/nutcracker.yml' syntax is ok

web界面运行启动服务的http://ip:22222查看；

可以使用nc命令查看 Twemproxy 状态语句：

# nc 10.207.101.101 22222|python -mjson.tool

  6、设置启动：

# cat start.sh

nutcracker -d -c /opt/twemproxy-master/conf/nutcracker.yml -p /opt/twemproxy-master/run/redisproxy.pid -o /opt/twemproxy-master/run/redisproxy.log

    nutcracker 用法与命令选项

Options:

-h, –help                        : 查看帮助文档，显示命令选项

-V, –version                   : 查看nutcracker版本

-t, –test-conf                  : 测试配置脚本的正确性

-d, –daemonize              : 以守护进程运行

-D, –describe-stats         : 打印状态描述

-v, –verbosity=N            : 设置日志级别 (default: 5, min: 0, max: 11)

-o, –output=S                 : 设置日志输出路径，默认为标准错误输出 (default: stderr)

-c, –conf-file=S               : 指定配置文件路径 (default: conf/nutcracker.yml)

-s, –stats-port=N            : 设置状态监控端口，默认22222 (default: 22222)

-a, –stats-addr=S            : 设置状态监控IP，默认0.0.0.0 (default: 0.0.0.0)

-i, –stats-interval=N       : 设置状态聚合间隔 (default: 30000 msec)

-p, –pid-file=S                 : 指定进程pid文件路径，默认关闭 (default: off)

-m, –mbuf-size=N          : 设置mbuf块大小，以bytes单位 (default: 16384 bytes)

# cat stop.sh

ps -ef | grep redis | grep -v grep | awk '{print $2}'  | sed -e "s/^/kill -9 /g" | sh -

  7、检测进程

ps -ef | grep nutcracker | grep -v grep

  8、keepalived 部署 HA 静态路由单点故障；

yum install keepalived -y 

# cat /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {

    router_id LVS_DEVEL

}

vrrp_script check_twem {

#    script "killall -0 redis"

    script "/etc/keepalived/check_twem.sh" 

    interval 2 

    weight -3

    fall 3  

    rise 2 

}

vrrp_instance VI_1 {

    state MASTER

    interface eth0

    virtual_router_id 51

    priority 100

    advert_int 1

    authentication {

        auth_type PASS

        auth_pass 1111

    }

    virtual_ipaddress {

        172.27.101.100/24 dev eth0 label eth0:1

    }

     track_script {

       check_twem

    }

}

virtual_server 172.27.101.100 22121 {

    delay_loop 6

    protocol TCP

real_server 172.27.101.101 22121 {

        weight 1

        TCP_CHECK {

            connect_timeout 3

            nb_get_retry 3  

            delay_before_retry 3 

            connect_port 80       

        }

real_server 172.27.101.102 22121 {

        weight 1

        TCP_CHECK {

            connect_timeout 3

            nb_get_retry 3  

            delay_before_retry 3 

            connect_port 80       

        }

    }

}

  9、nutcracker 进程检测 - 脚本check_twem.sh 

# cat /etc/keepalived/check_twem.sh 

#!/bin/bash

twem=$(ps -C nutcracker --no-heading|wc -l)

if [ "${twem}" = "0" ]; then

    sh /opt/twemproxy-master/start.sh

    sleep 2

    twem=$(ps -C nutcracker --no-heading|wc -l)

    if [ "${twem}" = "0" ]; then

        /etc/init.d/keepalived stop

    fi

fi

  10、Set测试：

通过twemproxy测试：

# redis-cli -h 172.27.101.100 -p 22121 -c 11 -t set -d 11 -l –q

SET: 38167.94 requests per second

直接对后端redis测试：

# redis-cli -h 172.27.101.101 -p 6001 -c 11 -t set -d 11 -l –q

直接对后端redis测试：

# redis-cli -h 172.27.101.102 -p 6001 -c 11 -t set -d 11 -l –q

SET: 53191.49 requests per second

  11、Get测试：

通过twemproxy测试：

# redis-cli -h 172.27.101.100 -p 22121 -c 11 -t get -d 11 -l -q

GET: 37453.18 requests per second

直接对后端redis测试：

# redis-cli -h 172.27.101.101 -p 22121 -c 11 -t get -d 11 -l -q

GET: 62111.80 requests per second

查看键值分布：

# redis-cli info|grep db0

db0:keys=51483,expires=0,avg_ttl=0

# redis-cli info|grep db0

db0:keys=48525,expires=0,avg_ttl=0

  12、redis-cli 基本操作；

Redis 模糊搜索

 keys *

 select 2

删除所有以user开头的key 可以这样实现：

# redis-cli keys "user*"

1) "user1"

2) "user2"

# redis-cli keys "user*" | xargs redis-cli del

(integer) 2

# 删除成功

# 批量删除匹配通配符的key用到了Linux中的管道和xargs参数：

redis-cli keys "s*" | xargs redis-cli del 

# 如果需要制定数据库，需要用到 -n 数据库编号   参数，下面是删除2数据库中s开头的键：

redis-cli -n 2 keys "s*" | xargs redis-cli -n 2 del

redis-cli keys "*" | xargs redis-cli del  

# 如果redis-cli没有设置成系统变量，需要指定redis-cli的完整路径  

＃　如：/opt/redis/redis-cli keys "*" | xargs /opt/redis/redis-cli del 

# 删除当前数据库中的所有Key  

flushdb  

# 删除所有数据库中的key  

flushall 

    13、测试问题

    read, writev and mbuf

   所有的请求和响应都在mbuf里面，mbuf默认大小是16K（512b-16M）,可以使用-m or -mbuf-size=N来配置，每一个连接都会获得至少一个mbuf，这意味着nutcracker支持的并发的连接数依赖于mbuf的大小，小的mbuf可以控制更多的连接，大的mbuf可以让我们读或者写更多的数据导socker buffer。如果并发量很大的场景，推荐使用比较小的mbuf（512 or 1K）

    mbuf-size=N

  每一个客户端连接最好需要一个mbuf，一个服务请求最少是两个连接（client->proxy、proxy->server）所以最少需要两个mbufs 1000个客户端连接的场景计算：1000*2*mbuf=32M,如果每个连接有10个操作，这个值将会是320M,假设连接是10000，那么将会消耗3.2G内存！这种场景下最好调mbuf值比如512b，1000*2*512*10=10M 这个就是当并发量高的场景下使用小的mbuf的原因

    key长度：

   memcached的长度上限是250， redis没有类似限制，但是nutcracker需要key存储在连续的内存里面，而因为所有的请求和响应都在mbuf中，所以redis key的长度将会受限制于mbuf,也就是说如果你的redis实例如果要操作超长的key，你必须把mbuf调大。

    14、简单删除

# 测试数据

redis> ZRANGE page_rank 0 -1 WITHSCORES

1) "bing.com"

2) "8"

3) "baidu.com"

4) "9"

5) "google.com"

6) "10"

# 移除单个元素

redis> ZREM page_rank google.com

(integer) 1

redis> ZRANGE page_rank 0 -1 WITHSCORES

1) "bing.com"

2) "8"

3) "baidu.com"

4) "9"

# 移除多个元素

redis> ZREM page_rank baidu.com bing.com

(integer) 2

redis> ZRANGE page_rank 0 -1 WITHSCORES

(empty list or set)

# 移除不存在元素

redis> ZREM page_rank non-exists-element

(integer) 0

    14、命令参考

http://doc.redisfans.com/