gearman是如何实现redis缓存mysql的

本文主要给大家简单讲讲gearman是如何实现redis缓存mysql的，相关专业术语大家可以上网查查或者找一些相关书籍补充一下，这里就不涉猎了，我们就直奔主题吧，希望gearman是如何实现redis缓存mysql的这篇文章可以给大家带来一些实际帮助。

Gearman简介：

        Gearman是一个支持分布式的任务分发框架。设计简洁，获得了非常广泛的支持。一个典型的Gearman应用包括以下这些部分：

1、Gearman Job Server：Gearman核心程序，以守护进程形式运行在后台

2、Gearman Client：可以理解为任务的收件员，比如我要在后台执行一个发送邮件的任务，可以在程序中调用一个Gearman Client并传入邮件的信息，然后就可以将执行结果立即展示给用户，而任务本身会慢慢在后台运行。

3、Gearman Worker：任务的真正执行者，一般需要自己编写具体逻辑并通过守护进程方式运行，4、Gearman Worker接收到Gearman Client传递的任务内容后，会按顺序处理。

设计思路：

    首先利用mysql UDF（通过了lib_mysqludf_json和gearman-mysql-udf的组合实现）在mysql中的数据发生改变时触动触发器将数据传入Gearman中，这时的mysql相当于Gearman的clinet。然后运行自己编写的php程序作为worker，将Gearman中的数据传到Redis中去，这时的Redis相当于是Gearman的consumer。

实施过程：

1、  配置YUM源，安装gearmand

http://down.51cto.com/data/2274661    ##YUM包文件配置，和GEARMAND 需要的包

    1、yum install -y php-pecl-gearman libgearman  libgearman-devel gearmand nc

    2、启动服务/etc/init.d/gearmand start

    3、检查状态是否OK   netstat -alnutp |grep gearman

###gearman默认使用的端口为4370

2、  安装数据库、php-MySQL插件

    1、  数据库安装（略）

    2、  插件安装yum -yinstall php-mysql #安装这个插件主要是用PHP来数据收集写入操作

    3、  启动MySQL

3、在数据云服务器上安装lib_mysqludf_json

    1、  unzip master.zip

    2、  cd lib_mysqludf_json-master

    3、  rm -rf lib_mysqludf_json.so

    4、  gcc $(mysql_config --cflags) -shared -fPIC -o lib_mysqludf_json.solib_mysqludf_json.c

##把重新编译的lib_mysqludf_json.so 拷贝到/usr/local/mysql/lib/plugin目录下

4、在数据云服务器上安装gearman-mysql-udf

    1、  解压包tar xf gearman-mysql-udf-0.6.tar.gz -C ./

    2、  Cd gearman-mysql-udf-0.6

    3、  编译./configure--with-mysql=/usr/local/mysql/bin/mysql_config --libdir=/usr/local/mysql/lib/plugin/

#注意这是自己定义的数据安装包的目录，若用YUM包安装则用

./configure --with-mysql=/usr/bin/mysql_config  --libdir=/usr/lib64/plugin/

编译报错：configure: error:At least version 0.33 of libgearman is required for gearman-mysql-udf

安装：yum -y installlibgearman-devel #由于原来包版本低，重新安装个即可。

5、  安装make&& make install ##插件安装到MySQL的插件目录下。

6、进入数据库，创建对应的function,trigger及设置gearmanserver信息

                   1、createfunction json_object returns string soname 'lib_mysqludf_json.so'

                   2、create functiongman_do_background returns string soname 'libgearman_mysql_udf.so'

                   3、createfunction gman_servers_set returns string soname 'libgearman_mysql_udf.so';

7、安装redis#建议用3.0.7的版本且安装php连接redis的驱动，测试环境用yum安装redis

    1、yum install php-pecl-redis redis –y

    2、启动redis服务servie redis start

    3、登录redis简单验证

    root@nod1 gearman-mysql-udf-0.6]#redis-cli

    redis 127.0.0.1:6379> keys *

    1) "counter:__rand_int__"

    2) "key:__rand_int__"

    3) "save"

    4) "mylist"

8、登录数据库，根据业务对某个库下的某个表添加触发器，且设置gearman server的信

         1、/usr/local/mysql/bin/mysql-S /tmp/mysql3306.sock -p

         2、create database wy

         3、create table test(idint primary key,name char(20))

         4、设置gearman server信息##非常重要，若不执行会导致数据无法收集到REDIS中去

                   MariaDB [wy]> SELECTgman_servers_set('127.0.0.1:4730');

+------------------------------------+

| gman_servers_set('127.0.0.1:4730') |

+------------------------------------+

| 127.0.0.1:4730                     |

+------------------------------------+

9、  添加触发器

DELIMITER $$

CREATE TRIGGER datatoredis AFTER UPDATE ON test  FOR EACH ROW BEGIN

    SET@ret=gman_do_background('syncToRedis', json_object(NEW.id AS `id`, NEW.name AS`name`));

  END$$

DELIMITER ;

10、  编写一个worker程序，负责将gearman中的数据传入到redis中去：

文件名:redis_workder.php

1、编写：

2、启动phpredis_worker.php

启动报错：PHPWarning:  GearmanWorker::work():send_packet(GEARMAN_ERRNO) Failed to send server-options packet ->libgearman/connection.cc:485 in /home/redis_worker.php on line 8

解决办法：/usr/sbin/gearmand -d -L 127.0.0.1 -p 4730

然后在启动：nohup php redis_worker.php & 保持后台运行

    启动gearmand报错/var/log/mearmond.log错误未解决

    ERROR 2016-12-28 07:46:38.000000 [ main ] socket()(Address family not supported by protocol) ->libgearman-server/gearmand.cc:468

      ERROR 2016-12-28 07:46:38.000000 [  main ] gearmand_sockfd_close() called with aninvalid socket -> libgearman-server/io.cc:933

总结：

测试通过在MYSQL数据库写入数据，然后观察REDIS是否有数据，若有则成功，这种方式效率是非常低的，在100W数据，数据库写入性能降低非常大。

gearman是如何实现redis缓存mysql的就先给大家讲到这里，对于其它相关问题大家想要了解的可以持续关注我们的行业资讯。我们的板块内容每天都会捕捉一些行业新闻及专业知识分享给大家的。