温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

redis 清理某个key前缀的key

发布时间:2020-07-08 14:22:32 来源:网络 阅读:1038 作者:我的二狗呢 栏目:系统运维

redis清理某个前缀的key


例如,某次研发上线代码,造成了某种前缀的key出现了脏数据(例如key前缀名称为 key_  ), 我们需要快速的清理掉这些问题key。


常用的方法有2种:

1、dump出一个全量数据,然后找出符合条件的key,进行删除操作【推荐】

2、使用scan扫描redis,将全部key捞出来,然后再删除符合条件的key



我们这里使用第一种方法,具体如下操作:


1、在slave节点bgsave命令dump出一份全量数据

bgsave  ,生成的文件名类似  dump-6379.rdb 


2、 安装 rdb 解析工具

pip install rdbtools python-lzf   # python2.7 下 一行命令即可完成安装

rdb -c memory dump-6379.rdb > memory.csv  # 用这个命令将rdb进行分析



3、过滤出符合条件的key

awk  -F ',' '{print $3 ,  $NF }'  memory.csv > keys.txt    # 过滤出key的名称和过期时间

egrep key_  keys.txt > /root/key_.txt     # 将 key_ 前缀的key 过滤出来

cat /root/key_.txt | sort -k 2 -r > /root/sort_keys    # 对key按照日期进行倒序排序

egrep 2019-09-10 /root/sort_keys  > /root/match_keys    # 注意:我这里紧急处理,只过滤出 2019-09-10 过期的key(这是最新的数据,也是目前业务最常访问的key,也就是最需要紧急处理的)

awk '{print $1}' /root/match_keys > /root/filter_keys    # 将最终需要处理的key重定向到一个文件

mkdir /root/test/

split -2000 /root/filter_keys  /root/test/    # 将 filter_keys 这个文件 按照每个2k行切分成多个文件,便于后续并行处理



然后,我们写个脚本,批量处理下:


vim /root/batch.sh  内容如下:

for i in `ls /root/test/`; do
echo "while read line;do
echo \"del \$line\" | redis-cli -h 127.0.0.1 -p 6379 
done < /root/test/${i}" > /root/run_${i}.sh
chmod +x /root/run_${i}.sh 
done


这样就生成了一堆的脚本


下面写个脚本,批量执行下就好了;

#!/bin/bash
for i in `ls run*.sh`; do 
nohup sh $i > /dev/null &
done





向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI