使用redis存储业务信息,同时也可以存储系统运维信息,比如日志和计数器来收集系统当前的状态信息,挖掘正在使用系统的顾客信息,以及诊断系统问题,发现潜在的问题。当然,系统日志信息及统计信息也可以存储在关系型数据库中,但是存在一个很大的弊端,影响业务性能。
1.使用redis记录日志
熟悉java的朋友,记录日志往往采用的是log4j,sl4j,大多记录载体选择文本文件。如果使用web集群的话,造成日志分散在各个web服务器,搜集有效日志信息,非常麻烦。如果选择数据库保存的话,解决了文件分散情况,但势必对业务造成影响,日志毕竟是个辅助支撑而已,不应该和业务系统相提并论。这时候,redis是一个不错的选择。如果可以的话,可以对log4j扩展,将数据保存到redis中,当然这不是本章的重点。本章重点,主要简单讨论下如何保存日志。
构建一个系统,判断哪些信息需要被记录是一件困难的事情,不同的业务有不同的需求。但一般的日志信息往往关注一下方面。
日志时间,日志内容,服务IP,日志级别,日志发生频率。
1.1redis日志存储设计
记录详情里,可以按要求,增添想要的信息,发生的类名称,处理IP等。
1.2代码
public void logCommon( Jedis conn, String name, String message, String severity, int timeout) { String commonDest = "common:" + name + ':' + severity; String startKey = commonDest + ":start"; long end = System.currentTimeMillis() + timeout; while (System.currentTimeMillis() < end){ conn.watch(startKey); //当前所处的小时数 String hourStart = ISO_FORMAT.format(new Date()); String existing = conn.get(startKey); Transaction trans = conn.multi(); //如果记录的是上一个小时的日志 if (existing != null && COLLATOR.compare(existing, hourStart) < 0){ trans.rename(commonDest, commonDest + ":last"); trans.rename(startKey, commonDest + ":pstart"); trans.set(startKey, hourStart); }else{ trans.set(startKey, hourStart); } //日志计数器增1 trans.zincrby(commonDest, 1, message); //记录最近日志详情 String recentDest = "recent:" + name + ':' + severity; trans.lpush(recentDest, TIMESTAMP.format(new Date()) + ' ' + message); trans.ltrim(recentDest, 0, 99); List<Object> results = trans.exec(); // null response indicates that the transaction was aborted due to // the watched key changing. if (results == null){ continue; } return; } }
2.网站点击量计数器统计
2.1redis计数器存储设计
2.2编码
//以秒为单位的精度 public static final int[] PRECISION = new int[]{1, 5, 60, 300, 3600, 18000, 86400}; public void updateCounter(Jedis conn, String name, int count, long now){ Transaction trans = conn.multi(); //每一次更新,都要更新所有精度的计数器 for (int prec : PRECISION) { long pnow = (now / prec) * prec;//当前时间片的开始时间 String hash = String.valueOf(prec) + ':' + name; trans.zadd("known:", 0, hash); trans.hincrBy("count:" + hash, String.valueOf(pnow), count); } trans.exec(); } public List<Pair<Integer,Integer>> getCounter( Jedis conn, String name, int precision) { String hash = String.valueOf(precision) + ':' + name; Map<String,String> data = conn.hgetAll("count:" + hash); ArrayList<Pair<Integer,Integer>> results = new ArrayList<Pair<Integer,Integer>>(); for (Map.Entry<String,String> entry : data.entrySet()) { results.add(new Pair<Integer,Integer>( Integer.parseInt(entry.getKey()), Integer.parseInt(entry.getValue()))); } Collections.sort(results); return results; }
2.3清楚旧数据
流程图
代码
public class CleanCountersThread extends Thread { private Jedis conn; private int sampleCount = 100; private boolean quit; private long timeOffset; // used to mimic a time in the future. public CleanCountersThread(int sampleCount, long timeOffset){ this.conn = new Jedis("192.168.163.156"); this.conn.select(15); this.sampleCount = sampleCount; this.timeOffset = timeOffset; } public void quit(){ quit = true; } public void run(){ int passes = 0; while (!quit){ long start = System.currentTimeMillis() + timeOffset; int index = 0; while (index < conn.zcard("known:")){ Set<String> hashSet = conn.zrange("known:", index, index); index++; if (hashSet.size() == 0) { break; } String hash = hashSet.iterator().next(); int prec = Integer.parseInt(hash.substring(0, hash.indexOf(':'))); int bprec = (int)Math.floor(prec / 60); if (bprec == 0){ bprec = 1; } if ((passes % bprec) != 0){ continue; } String hkey = "count:" + hash; String cutoff = String.valueOf( ((System.currentTimeMillis() + timeOffset) / 1000) - sampleCount * prec); ArrayList<String> samples = new ArrayList<String>(conn.hkeys(hkey)); Collections.sort(samples); int remove = bisectRight(samples, cutoff); if (remove != 0){ conn.hdel(hkey, samples.subList(0, remove).toArray(new String[0])); if (remove == samples.size()){ conn.watch(hkey); if (conn.hlen(hkey) == 0) { Transaction trans = conn.multi(); trans.zrem("known:", hash); trans.exec(); index--; }else{ conn.unwatch(); } } } } passes++; long duration = Math.min( (System.currentTimeMillis() + timeOffset) - start + 1000, 60000); try { sleep(Math.max(60000 - duration, 1000)); }catch(InterruptedException ie){ Thread.currentThread().interrupt(); } } } // mimic python's bisect.bisect_right public int bisectRight(List<String> values, String key) { int index = Collections.binarySearch(values, key); return index < 0 ? Math.abs(index) - 1 : index + 1; } }
3.使用redis统计数据
上面提到的计数器,是最简单的统计数据。除了计数器(count(*)),还是最大值(max),最小值(min).
设计
stats:模块(页面)名称:指标名称
public List<Object> updateStats(Jedis conn, String context, String type, double value){ int timeout = 5000; String destination = "stats:" + context + ':' + type; String startKey = destination + ":start"; long end = System.currentTimeMillis() + timeout; while (System.currentTimeMillis() < end){ conn.watch(startKey); String hourStart = ISO_FORMAT.format(new Date()); String existing = conn.get(startKey); Transaction trans = conn.multi(); if (existing != null && COLLATOR.compare(existing, hourStart) < 0){ trans.rename(destination, destination + ":last"); trans.rename(startKey, destination + ":pstart"); trans.set(startKey, hourStart); } //借助redis提供的最大值,最小值计算 String tkey1 = UUID.randomUUID().toString(); String tkey2 = UUID.randomUUID().toString(); trans.zadd(tkey1, value, "min"); trans.zadd(tkey2, value, "max"); trans.zunionstore( destination, new ZParams().aggregate(ZParams.Aggregate.MIN), destination, tkey1); trans.zunionstore( destination, new ZParams().aggregate(ZParams.Aggregate.MAX), destination, tkey2); trans.del(tkey1, tkey2); trans.zincrby(destination, 1, "count"); trans.zincrby(destination, value, "sum"); trans.zincrby(destination, value * value, "sumsq"); List<Object> results = trans.exec(); if (results == null){ continue; } return results.subList(results.size() - 3, results.size()); } return null; }
需要注意的使用redis自带的最大值最小值,计算,所以创建了2个临时有序集合。其他的逻辑参照日志相关部分。
参考内容
《redis in action》
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。