温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》
  • 首页 > 
  • 教程 > 
  • 数据库 > 
  • codis迁移槽位遇到value过大的数据导致redis进程堵塞问题

codis迁移槽位遇到value过大的数据导致redis进程堵塞问题

发布时间:2020-08-09 01:06:17 来源:网络 阅读:3846 作者:524683249 栏目:数据库

codis迁移槽位遇到value过大的数据导致redis进程堵塞问题

问题背景:

2016-11-08 下午,咨询codis开始迁移槽位。迁移过程中dba发现group1redis无法连接,proxy进程异常退出且无法重启。

redis可以正常连接时dashboard展示为:

codis迁移槽位遇到value过大的数据导致redis进程堵塞问题

而问题发生时此redis是不可连接的,Keys无法显示正确显示,只显示Nan

 

proxy进程异常退出会收到微信报警:

[('NoneType' object has no attribute '__getitem__')10.20.4.1:19153(KDDI)](codis_proxy) [r_connection],threshold: 1,current:0,last:1 minutes.,info:failed [2016-11-08 15:32:35]

处理方案:

1.将备用proxy 服务器加入域名,待生效后移除异常proxy的域名。

2.排查dashboard日志,问题如下:

codis迁移槽位遇到value过大的数据导致redis进程堵塞问题

codis迁移槽位遇到value过大的数据导致redis进程堵塞问题

从日志可以看出迁移过程中slot_359迁移完成,solt_360迁移过程中报错,报错显示redis读取超时,持续一段时间后迁移任务报错([info] migration start: {SlotId:360 NewGroupId:4 Delay:1 CreateAt:1478588644 Percent:0 Status:error Id:0000003317}

3.手动取消迁移任务

登录zookeeper/usr/local/xywy/zookeeper-3.4.6/bin/zkCli.sh -server 10.20.4.1:2181

rmr /zk/codis/db_techzixun/migrate_tasks/0000003317

4.重启proxy进程

如果无法重启,那么说明取消迁移任务时可能影响了槽位的状态。排查日志可以看到报错为:

codis迁移槽位遇到value过大的数据导致redis进程堵塞问题

codis迁移槽位遇到value过大的数据导致redis进程堵塞问题

从日志中可以看出槽位状态为pre_migrate。调整为online即可。

调整方法:

登录zookeeper

查看对应槽位的值:get /zk/codis/db_techzixun/slots/slot_392

修改status为online:set /zk/codis/db_techzixun/slots/slot_392 {"product_name":"techzixun","id":392,"group_id":1,"state":{"status":"online","migrate_status":{"from":-1,"to":-1},"last_op_ts":"0"}}

所有槽位状态都为online时即可重启proxy

5.重启proxy后将其加入域名,此时故障已恢复

后续排查:

以上步骤为处理故障的操作,但迁移为什么出错,想要究其原因还需进一步排查。

查看group1中报错redis的日志,问题如下:

[113248] 08 Nov 15:16:20.764 # slotsmgrt: writing to target 10.20.2.4:6916, error 'accept: Resource temporarily unavailable', nkeys = 1, onekey = 'jbzt_nk_20219_arclist', cmd.len = 1418791367, pos = 65536, towrite = 65536

使用redis命令扫描大key

redis-cli -p xxxx -h xxxx --bigkeys

发现'jbzt_nk_20219_arclist'这个list容量达到3G左右

由此可见问题的原因是迁移value过的的keylist导致

 

解决方案:

该问题为codis程序问题,在codis中暂时无法使用技术手段解决。只能对这种value过大的keylist进行压缩或者选择其他使用方式。

 

 

遗留问题:

问题描述:

codis迁移槽位过程中出错时会导致槽位状态一直为迁移中,槽位状态为迁移中proxy不能上线,所以手动将槽位状态修改为上线。但此时未迁移成功的key路由信息还记录为迁移前group,而迁移前槽位的group信息已更新为迁移后的group,这就导致了查找未成功迁移的key时会无法连接的错误。

解决方法:

将无法连接的key所在槽位迁移至原所属group即可。查找key时可以通过proxy.log观察确认路由到哪个ip端口下从而确定原所属group,利用pythonbinascii.crc32算法 binascii.crc32('key_name')%1024 计算key所在槽位。

举例说明:

codis中有2group。分别为group1group2group1100槽位中有1,2,3,4,5,66keygroup2中没有key,此时将group1100槽位迁移至group2中,迁移过程中123key已成功迁移4key由于value过大导致迁移出错,此时100槽位所属group2,槽位状态为迁移中,手动删除迁移任务将100槽位状态修改为上线后,连接proxy查找456key则出现无法连接错误。原因就是456key的的路由信息还是group1中的100槽位,但此时100槽位已经不在group1下了,那么将100槽位迁移回group1下即可解决。

 

 


向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI