来聊聊Redis定期删除策略的设计与实现

写在文章开头

我们都知道redis通过主线程完成内存数据库的指令操作，由于只有一个线程负责核心业务流程，所以对于每一个操作都要求尽可能达到尽可能的高效迅速，而本文就基于源码来聊聊redis的定期删除策略的设计与实现。

在这里插入图片描述

Hi，我是 sharkChili ，是个不断在硬核技术上作死的 java coder ，是 CSDN的博客专家 ，也是开源项目 Java Guide 的维护者之一，熟悉 Java 也会一点 Go ，偶尔也会在 C源码 边缘徘徊。写过很多有意思的技术博客，也还在研究并输出技术的路上，希望我的文章对你有帮助，非常欢迎你关注我的公众号： 写代码的SharkChili 。

因为近期收到很多读者的私信，所以也专门创建了一个交流群，感兴趣的读者可以通过上方的公众号获取笔者的联系方式完成好友添加，点击备注 “加群” 即可和笔者和笔者的朋友们进行深入交流。

在这里插入图片描述

详解redis过期删除策略

redis对于过期删除策略的设计思路

为了设置键值对的时效性，我们一般会键入如下指令设置键值对的时效，以笔者下面这条指令为例，其生存时间即TTL为5s，一旦这个key达到5s不再可以被获取到了。

127.0.0.1:6379> set key value
127.0.0.1:6379> EXPIRE key 5

对于这种时效性的设计，我们一般有3种常见的方案:

定时删除:设置一个定时任务，定期删除当前设置时效的key。
惰性删除:即使这个key到期了我们也不处理，等到用户通过get指令获取的时候判断即生存时间是否到期，如果到期则删除并返回null，反之返回查询结果。
定期删除：每隔一段时间，对数据库进行一次全量检查，批量删除到期的key。

从实现上可以看出，定时删除这种做法本质就是提交定时任务让CPU到期执行，这种做法会因为每个key在每次轮询是否到期处理的逻辑而占用大量的CPU资源。

在这里插入图片描述

与之相反的是惰性删除，这种做法对于CPU比较友好，因为它不会定时去处理到期的key，与之相反只有用户获取这个key才会进行判断，这样的设计就对于内存不友好了，假设我们有大量的key到期而没有及时处理，那么宝贵的内存资源就会被这些无效的key占用而导致一系列连锁问题，例如查询性能降低、内存无效占用过高等。

在这里插入图片描述

最后就是定期删除了，从redis的工作机制来看，这种做法会使得时间事件定期的轮询全表检查并删除过期的key，很显然这种做法非常耗时，在键值对非常多的情况下，很可能导致redis大量时间都用于处理这些过期key上。

在这里插入图片描述

考虑到redis核心处理只有一个线程，redis在时间和空间上做了一定的折中，它本质上是基于优化版的定期删除和惰性删除策略已取得性能的空间的最佳平衡。

redis会在启动时创建一个时间处理循环事件，该事件会定期执行各种时间任务，包括redis的定期删除任务。对于定期删除，redis会随机从数据库中拿到一部分设置时效的键值对是否到期，如果过期则将其删除。而该策略会出现某些键值未能及时删除，所以redis又补充了惰性删除策略，即用户对某哦个设置时效的键值对进行操作时，redis就会判断当前键是否过期，如果过期则会将其删除。

在这里插入图片描述

过期键的创建和维护

基于上述流程我们大体知道了redis对于过期键的删除策略，接下来我们就以源码的方式去印证这几点，可以看到redisServer 通过db指针维护数据库，而redisDb 其内部通过dict字典维护键值对，再通过一个expires字典维护每个带有时效的键值对的信息：


struct redisServer {
	//......
	//指向数据库
    redisDb *db;
}    

typedef struct redisDb {
	//记录键值对信息
    dict *dict;                 /* The keyspace for this DB */
    //记录带时效的键值对的生存周期TTL
    dict *expires;              /* Timeout of keys with a timeout set */
   	//......
} redisDb;

了解整体流程之后，我们直接从源码开始印证,我们在执行时会执行以下几个命令，经过解析后，会走到命令表中的expireCommand，可以看到其内部本质就是传入客户端及其参数、当前时间到期时间单位(秒)到expireGenericCommand方法：

void expireCommand(redisClient *c) {
    expireGenericCommand(c,mstime(),UNIT_SECONDS);
}

expireGenericCommand回基于入参的basetime计算出到期时间when，并调用setExpire完成键值对保存至到期时间表：

void expireGenericCommand(redisClient *c, long long basetime, int unit) {
	//基于参数计算出到期时间when
	 robj *key = c->argv[1], *param = c->argv[2];
    long long when; /* unix time in milliseconds when the key will expire. */

    //......

    if (unit == UNIT_SECONDS) when *= 1000;
    when += basetime;


  //......
  //记录当前键值对到期时间到expires字典中
    if (when <= mstime() && !server.loading && !server.masterhost) {
       //......
    } else {
        setExpire(c->db,key,when);
        addReply(c,shared.cone);
        signalModifiedKey(c->db,key);
        notifyKeyspaceEvent(REDIS_NOTIFY_GENERIC,"expire",key,c->db->id);
        server.dirty++;
        return;
    }
}

我们步入setExpire方法内部就是将键值对到期时间到存到expires字典中：

void setExpire(redisDb *db, robj *key, long long when) {
    dictEntry *kde, *de;

    /* Reuse the sds from the main dict in the expire dict */
    kde = dictFind(db->dict,key->ptr);
   //......
    de = dictReplaceRaw(db->expires,dictGetKey(kde));
//......
}

惰性删除

有了expires表对于带有时效键值对的维护，惰性删除实现就非常简单高效，当用户调用get指令时，其内部会调用lookupKeyReadOrReply检查key是否到期，若当前时间大于到期时间则将键值对删除并返回null：

int getGenericCommand(redisClient *c) {
    robj *o;
	//查看key是否到期，若到期则将其删除，反之直接返回查询结果
    if ((o = lookupKeyReadOrReply(c,c->argv[1],shared.nullbulk)) == NULL)
        return REDIS_OK;

    if (o->type != REDIS_STRING) {
        addReply(c,shared.wrongtypeerr);
        return REDIS_ERR;
    } else {
        addReplyBulk(c,o);
        return REDIS_OK;
    }
}

其内部调用就会走到lookupKeyRead中的expireIfNeeded方法其内部就会找到管理过期键的字典expires看看当前事件是否大于到期时间，若大于则说明当前时间已过期则将其删除并返回null：

robj *lookupKeyRead(redisDb *db, robj *key) {
    robj *val;
	//判断当前key是否到期，若到期则删除
    expireIfNeeded(db,key);
    //查询并返回key对应的结果val
    val = lookupKey(db,key);
    if (val == NULL)
        server.stat_keyspace_misses++;
    else
        server.stat_keyspace_hits++;
    return val;
}

int expireIfNeeded(redisDb *db, robj *key) {
    mstime_t when = getExpire(db,key);
    mstime_t now;

    //......
    if (server.masterhost != NULL) return now > when;

  	//当前时间小于when则说明没过期
    if (now <= when) return 0;

   	//已过期删除过期key，并发布当前key过期的事件
    server.stat_expiredkeys++;
    propagateExpire(db,key);
    notifyKeyspaceEvent(REDIS_NOTIFY_EXPIRED,
        "expired",key,db->id);
    //删除过期key
    return dbDelete(db,key);
}

定期删除

redis所有的时间事件都会在循环时不断调用serverCron方法执行，而该方法内部有个内部databasesCron方法，该方法内部就是实现随机抽检各个数据库中expires字典的key，如果过期则将其删除：

//事件事件，调用databasesCron进行随机抽检键值对进行定期删除
int serverCron(struct aeEventLoop *eventLoop, long long id, void *clientData) {
   	//......

   	//执行redis数据库定期任务操作
    databasesCron();

    	//......
}


void activeExpireCycle(int type) {
   	//......
	//遍历数据库
    for (j = 0; j < dbs_per_call; j++) {
        int expired;
        redisDb *db = server.db+(current_db % server.dbnum);

       
        current_db++;

      
        do {
          	//......
			
			//随机抽取expires当前中20个键值对
            if (num > ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP)
                num = ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP;
			//循环随机20个调用expires看看随机key是否到期，若到期则删除
            while (num--) {
                dictEntry *de;
                long long ttl;
				//随机获取一个dictEntry 
                if ((de = dictGetRandomKey(db->expires)) == NULL) break;
                //查看到期时间与当前时间的差值
                ttl = dictGetSignedIntegerVal(de)-now;
                //如果到期则删除
                if (activeExpireCycleTryExpire(db,de,now)) expired++;
                if (ttl < 0) ttl = 0;
                ttl_sum += ttl;
                ttl_samples++;
            }

            //......
        } while (expired > ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP/4);
    }
}

小结

以上便是笔者对于redis过期键值删除策略设计的全部源码分析，可以看到由于redis单线程的设计，对于每一项操作都在时间和空间上做了极致的设计和实现，希望对你有帮助。

我是 sharkchili ，CSDN Java 领域博客专家，开源项目—JavaGuide contributor，我想写一些有意思的东西，希望对你有帮助，如果你想实时收到我写的硬核的文章也欢迎你关注我的公众号： 写代码的SharkChili 。
因为近期收到很多读者的私信，所以也专门创建了一个交流群，感兴趣的读者可以通过上方的公众号获取笔者的联系方式完成好友添加，点击备注 “加群” 即可和笔者和笔者的朋友们进行深入交流。

在这里插入图片描述