黑马 redis面试篇笔记

news2025/7/16 13:41:37

redis主从

image-20250423175310696

image-20250423175456521 image-20250423175645094 
version: "3.2"

services:
  r1:
    image: redis
    container_name: r1
    network_mode: "host"
    entrypoint: ["redis-server", "--port", "7001"]
  r2:
    image: redis
    container_name: r2
    network_mode: "host"
    entrypoint: ["redis-server", "--port", "7002"]
  r3:
    image: redis
    container_name: r3
    network_mode: "host"
    entrypoint: ["redis-server", "--port", "7003"]

docker load -i redis.tar
docker compose up -d
docker compose ps
ps -ef | grep redis

建立主从集群

image-20250423181519867

默认所有节点都是主节点

docker exec -it r1 redis-cli -p 7001
info replication
image-20250423181856868

修改r2为从

docker exec -it r2 redis-cli -p 7002
slaveof 192.168.100.129 7001
image-20250423182412564

修改r3为从

docker exec -it r3 redis-cli -p 7003
slaveof 192.168.100.129 7001

可以看到r1显示了2个从节点，主从关系建立完毕

image-20250423182749361

主从同步原理

replicationID:每一个master节点都有自己的唯一id,简称replid

image-20250423192954845

主从集群优化

可以从以下几个方面来优化Redis主从就集群：
在master中配置repl-diskless-sync yes,启用无磁盘复制，避免全量同步时的磁盘IO。
Redis.单节点上的内存占用不要太大，减少RDB导致的过多磁盘IO
适当提高repl baklog的大小，发现slave宕机时尽快实现故障恢复，尽可能避免全量同步
限制一个master.上的slave节点数量，如果实在是太多slave,则可以采用主-从-从链式结构，减少master压力

image-20250423194553444

哨兵原理

image-20250423195359394

Sentinel基于心跳机制监测服务状态，每隔1秒向集群的每个实例发送ping命令：
主观下线：如果某sentinel节点发现某实例未在规定时间响应，则认为该实例主观下线。
客观下线：若超过指定数量（quorum)的sentinel都认为该实例主观下线，则该实例客观下线。quorum值最好超
过Sentinel3实例数量的一半。

image-20250423195701337

选举新的master

一旦发现masteri故障，sentinel需要在salve中选择一个作为新的master,选择依据是这样的：
首先会判断slave节点与master节点断开时间长短，如果超过指定值(down-after-milliseconds*10)则会排除该
slave节点
然后判断slave节点的slave-priority值，越小优先级越高，如果是0则永不参与选举
如果slave-prority一样，则判断slave节点的offset值，越大说明数据越新，优先级越高
最后是判断slave节点的运行id大小，越小优先级越高。

如何实现故障转移

image-20250423200908207

image-20250423201033730

搭建哨兵集群

首先，我们停掉之前的redis集群

docker compose down

sentinel.conf

sentinel announce-ip "192.168.100.129"
sentinel monitor hmaster 192.168.100.129 7001 2
sentinel down-after-milliseconds hmaster 5000
sentinel failover-timeout hmaster 60000
image-20250423212151594

我们在虚拟机的/root/redis目录下新建3个文件夹：s1、s2、s3:

img

将课前资料提供的sentinel.conf文件分别拷贝一份到3个文件夹中。

接着修改docker-compose.yaml文件，内容如下：

version: "3.2"

services:
  r1:
    image: redis
    container_name: r1
    network_mode: "host"
    entrypoint: ["redis-server", "--port", "7001"]
  r2:
    image: redis
    container_name: r2
    network_mode: "host"
    entrypoint: ["redis-server", "--port", "7002", "--slaveof", "192.168.100.129", "7001"]
  r3:
    image: redis
    container_name: r3
    network_mode: "host"
    entrypoint: ["redis-server", "--port", "7003", "--slaveof", "192.168.100.129", "7001"]
  s1:
    image: redis
    container_name: s1
    volumes:
      - /root/redis/s1:/etc/redis
    network_mode: "host"
    entrypoint: ["redis-sentinel", "/etc/redis/sentinel.conf", "--port", "27001"]
  s2:
    image: redis
    container_name: s2
    volumes:
      - /root/redis/s2:/etc/redis
    network_mode: "host"
    entrypoint: ["redis-sentinel", "/etc/redis/sentinel.conf", "--port", "27002"]
  s3:
    image: redis
    container_name: s3
    volumes:
      - /root/redis/s3:/etc/redis
    network_mode: "host"
    entrypoint: ["redis-sentinel", "/etc/redis/sentinel.conf", "--port", "27003"]

直接运行命令，启动集群：

docker compose up -d
image-20250423214253624

Redis分片

搭建分片集群

image-20250423220231331

Redis分片集群最少也需要3个master节点，由于我们的机器性能有限，我们只给每个master配置1个slave，形成最小的分片集群：

img

image-20250424120359402 image-20250424120908309

一般搭建部署集群肯定是给每个节点都配置上述参数，不过考虑到我们计划用docker-compose部署，因此可以直接在启动命令中指定参数，偷个懒。

在虚拟机的/root目录下新建一个redis-cluster目录，然后在其中新建一个docker-compose.yaml文件，内容如下：

version: "3.2"

services:
  r1:
    image: redis
    container_name: r1
    network_mode: "host"
    entrypoint: ["redis-server", "--port", "7001", "--cluster-enabled", "yes", "--cluster-config-file", "node.conf"]
  r2:
    image: redis
    container_name: r2
    network_mode: "host"
    entrypoint: ["redis-server", "--port", "7002", "--cluster-enabled", "yes", "--cluster-config-file", "node.conf"]
  r3:
    image: redis
    container_name: r3
    network_mode: "host"
    entrypoint: ["redis-server", "--port", "7003", "--cluster-enabled", "yes", "--cluster-config-file", "node.conf"]
  r4:
    image: redis
    container_name: r4
    network_mode: "host"
    entrypoint: ["redis-server", "--port", "7004", "--cluster-enabled", "yes", "--cluster-config-file", "node.conf"]
  r5:
    image: redis
    container_name: r5
    network_mode: "host"
    entrypoint: ["redis-server", "--port", "7005", "--cluster-enabled", "yes", "--cluster-config-file", "node.conf"]
  r6:
    image: redis
    container_name: r6
    network_mode: "host"
    entrypoint: ["redis-server", "--port", "7006", "--cluster-enabled", "yes", "--cluster-config-file", "node.conf"]

注意：使用Docker部署Redis集群，network模式必须采用host

进入/root/redis-cluster目录，使用命令启动redis：

docker-compose up -d

启动成功，可以通过命令查看启动进程：

ps -ef | grep redis

接下来，我们使用命令创建集群：

# 进入任意节点容器
docker exec -it r1 bash
# 然后，执行命令
redis-cli --cluster create --cluster-replicas 1 \
192.168.100.129:7001 192.168.100.129:7002 192.168.100.129:7003 \
192.168.100.129:7004 192.168.100.129:7005 192.168.100.129:7006

命令说明：

  • redis-cli --cluster：代表集群操作命令
  • create：代表是创建集群
  • --cluster-replicas 1 ：指定集群中每个master的副本个数为1
    • 此时节点总数 ÷ (replicas + 1) 得到的就是master的数量n。因此节点列表中的前n个节点就是master，其它节点都是slave节点，随机分配到不同master

输入命令后控制台会弹出下面的信息：

img

这里展示了集群中master与slave节点分配情况，并询问你是否同意。节点信息如下：

  • 7001是master，节点id后6位是da134f
  • 7002是master，节点id后6位是862fa0
  • 7003是master，节点id后6位是ad5083
  • 7004是slave，节点id后6位是391f8b，认ad5083（7003）为master
  • 7005是slave，节点id后6位是e152cd，认da134f（7001）为master
  • 7006是slave，节点id后6位是4a018a，认862fa0（7002）为master

输入yes然后回车。会发现集群开始创建，并输出下列信息：

img

接着，我们可以通过命令查看集群状态：

redis-cli -p 7001 cluster nodes

结果：

img

散列插槽

image-20250424123115963

Redis数据不是与节点绑定，而是与插槽slot绑定。当我们读写数据时，Redis基于CRC16算法对key做hash运算，得
到的结果与16384取余，就计算出了这个key的slot值。然后到slot所在的Redis节点执行读写操作。

redis在计算key的hash值是不一定是根据整个key计算，分两种情况：
当key中包含{}时，根据{}之间的字符串计算hash slot
当key中不包含{}时，则根据整个key字符串计算hash slot
例如：key是num,那么就根据num计算，如果是{itcast)num,则根据itcast计算。

例如：

  • key是user，则根据user来计算hash slot
  • key是user:{age}，则根据age来计算hash slot

我们来测试一下，先于7001建立连接：

# 进入容器
docker exec -it r1 bash
# 进入redis-cli
redis-cli -p 7001
# 测试
set user jack

会发现报错了：

img

提示我们MOVED 5474，其实就是经过计算，得出user这个key的hash slot 是5474，而5474是在7002节点，不能在7001上写入！！

说好的任意节点都可以读写呢？

这是因为我们连接的方式有问题，连接集群时，要加-c参数：

# 通过7001连接集群
redis-cli -c -p 7001
# 存入数据
set user jack

结果如下：

img

可以看到，客户端自动跳转到了5474这个slot所在的7002节点。

现在，我们添加一个新的key，这次加上{}：

# 试一下key中带{}
set user:{age} 21

# 再试一下key中不带{}
set age 20

结果如下：

img

可以看到user:{age}和age计算出的slot都是741

# 正确操作

get user:{age}  # 返回 "21"

# 错误操作

get user       # 键名不匹配，返回 nil

get age        # 键名不匹配，返回 nil

get user:age   # 键名不匹配（无花括号），返回 nil

Redis数据结构

RedisObject

Redis中的任意数据类型的键和值都会被封装为一个RedisObject,也叫做Redis:对象，源码如下：

image-20250424133637421

image-20250424133249409

image-20250424133605448

SkipList(跳表)

image-20250424171657445

SkipList的特点：
跳跃表是一个有序的双向链表
每个节点都可以包含多层指针，层数是1到32之间的随机数
不同层指针到下一个节点的跨度不同，层级越高，跨度越大
增删改查效率与红黑树基本一致，实现却更简单。但空间复杂度更高

SortedSet

image-20250424172934064

Redis内存回收

过期key处理

image-20250424173227184

image-20250424173706725

Redis并不会实时监测key的过期时间，在key过期后立刻删除。而是采用两种延迟删除的策略：
惰性删除：当有命令需要操作一个key的时候，检查该ky的存活时间，如果已经过期才执行删除。
周期删除：通过一个定时任务，周期性的抽样部分有TTL的ky,如果过期则执行删除。
周期删除的定时任务执行周期有两种：
SLOW模式：默认执行频率为每秒10次，但每次执行时长不能超过25ms,受server.hz参数影响。
FAST模式：频率不固定，跟随Redis内部IO事件循环执行。两次任务之间间隔不低于2ms,执行时长不超过1ms

内存淘汰策略

内存淘汰：就是当Redis内存使用达到设置的阈值时，Redis:主动挑选部分key删除以释放更多内存的流程。
Redis会在每次处理客户端命令时都会对内存使用情况做判断，如果必要则执行内存淘汰。内存淘汰的策略有：
◆noeviction:不淘汰任何key,但是内存满时不允许写入新数据，默认就是这种策略。，
◆volatile-ttl:对设置了TTL的key,比较key的剩余TTL值，TTL越小越先被淘汰
◆allkeys-random:对全体key,随机进行淘汰。也就是直接从db->dict中随机挑选
◆volatile-random:对设置了TTL的key,随机进行淘汰。也就是从db->expires中随机挑选。
◆allkeys-lru:对全体key,基于LRU算法进行淘汰
◆volatile-lru:对设置了TTL的key,基于LRU算法进行淘汰
◆allkeys-lfu:对全体key,基于LFU算法进行淘汰
◆volatile-lfu:对设置了TTL的key,基于LFU算法进行淘汰

比较容易混淆的有两个：
LRU(Least Recently Used),最近最少使用。用当前时间减去最后一次访问时间，这个值越大则淘汰优先级越高。
LFU(Least Frequently Used),最少频率使用。会统计每个key的访问频率，值越小淘汰优先级越高。

image-20250424175343799

image-20250424175738611

缓存一致性

image-20250424180602357

image-20250424201430872

缓存一致性策略的最佳实践方案：
1.低一致性需求：使用Redis的key过期清理方案
2.高一致性需求：主动更新，并以超时剔除作为兜底方案
◆读操作：
缓存命中则直接返回
缓存未命中则查询数据库，并写入缓存，设定超时时间
◆写操作：
先写数据库，然后再删除缓存
要确保数据库与缓存操作的原子性

缓存穿透

image-20250424203333843

image-20250424203145113

缓存雪崩

image-20250424204610722

缓存击穿

image-20250424205253471

image-20250424205959997

image-20250424210109221

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2343611.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

DBdriver使用taos数据库

DBdriver使用taos数据库

首先创建连接 连接后比如数据库里有三个库 选择其中的hypon 选中localhost，右键sql编辑器，打开sql控制台 就插入了一条数据
阅读更多...
观成科技：摩诃草组织Spyder下载器流量特征分析

观成科技：摩诃草组织Spyder下载器流量特征分析

一、概述 自2023年以来，摩诃草组织频繁使用Spyder下载器下载远控木马，例如Remcos。观成安全研究团队对近几年的Spyder样本进行了深入研究，发现不同版本的样本在数据加密、流量模式等方面存在差异。基于此，我们对多个版本样本的通…
阅读更多...
AIGC实战之如何构建出更好的大模型RAG系统

AIGC实战之如何构建出更好的大模型RAG系统

一、RAG 系统核心架构解析 1. 检索模块深度优化 1.1 混合检索技术实现 技术原理：结合稀疏检索（BM25）与密集检索（DPR），通过动态权重分配提升检索精度。例如，在医疗领域，BM25 负责精…
阅读更多...
C++入门小馆: 深入了解STLlist

C++入门小馆: 深入了解STLlist

嘿，各位技术潮人！好久不见甚是想念。生活就像一场奇妙冒险，而编程就是那把超酷的万能钥匙。此刻，阳光洒在键盘上，灵感在指尖跳跃，让我们抛开一切束缚，给平淡日子加点料，注入满满的pa…
阅读更多...
小白学习java第15天：JDBC

小白学习java第15天：JDBC

1.数据库驱动 想一下我们之前是怎么操作数据库，是不是使用SQL语句对其mysql数据库管理系统，然后管理系统在进行数据库（硬盘文件里面的）进行操作。那么我现在想使用应用程序对其数据库进行操作，应该怎么办呢&#xff1…
阅读更多...
大模型应用开发（PAFR）

大模型应用开发（PAFR）

Prompt问答 特征:利用大模型推理能力完成应用的核心功能 应用场景： 文本摘要分析 舆情分析 坐席检查 AI对话 AgentFunction Calling 特征：将应用端业务能力与AI大模型推理能力结合，简化复杂业务功能开发 应用场景: 旅行指南 数据…
阅读更多...
U-Mail邮件加速服务：全球链路加速，安全稳定收发

U-Mail邮件加速服务：全球链路加速，安全稳定收发

由于跨国网络拥堵、带宽不稳定等因素，导致海外用户在使用企业邮箱收发邮件时，经常出现邮件收发不畅的问题。针对这种情况，U-Mail正式推出了邮件加速服务，U-Mail邮件加速服务依托全球优质加速链路和转发集群服务器，为海…
阅读更多...
论文精读：大规模MIMO波束选择问题的量子计算解决方案

论文精读：大规模MIMO波束选择问题的量子计算解决方案

论文精读：大规模MIMO波束选择问题的量子计算解决方案 概要： 随着大规模多输入多输出系统（MIMO）在5G及未来通信技术中的应用，波束选择问题（MBS）成为提升系统性能的关键。传统的波束选择方法面临计…
阅读更多...
uniapp-商城-37-shop 购物车 选好了 进行订单确认3 支付栏

uniapp-商城-37-shop 购物车 选好了 进行订单确认3 支付栏

支付栏 就是前面用的 car-Layout 在shop也用来这个组件 只是在那里用来的是购物车。 1、 样式 我们开始进入这个页面是点击的shop的购物篮 到这里就变成了支付栏 其实他们是同一个组件 只是做了样式区分 2、具体看看样式和代码 2.1 消失了购物车和改变了按钮名字 如何…
阅读更多...
【LLM+Code】Claude Code Agent 0.2.9 版本PromptTools最细致解读

【LLM+Code】Claude Code Agent 0.2.9 版本PromptTools最细致解读

一、Claude Code 是anthropic团队开发的一个code agent bash工具 具体使用文档：https://docs.anthropic.com/en/docs/agents-and-tools/claude-code/overview 1.1 安装/使用Claude Code 自行安装 npm install -g anthropic-ai/claude-code cd your-project-dire…
阅读更多...
ISCTF2024-misc(部分)

ISCTF2024-misc(部分)

前言 之前写的，一直没发，留个记录吧，万一哪天记录掉了起码在csdn有个念想 1.少女的秘密花园 打开是个图片 随波逐流binwalk一下分离得到一个zip，解压得到base_misc发现是zip 爆破得到密码 解压得到一个txt，将里面的…
阅读更多...
U8G2在PC端模拟(C语言版本)

U8G2在PC端模拟(C语言版本)

前提： 电脑已经准备好mingw编译器环境，已经加入环境变量. 测试方法： window下打开cmd,输入gcc -v 会有信息打印. u8g2 u8g2官方支持sdl2接口，已经做好了适配. 所以只需要在使用的开发环境配置好SDL2路径即可. sdl2和u8g2的适配…
阅读更多...
【计算机视觉】CV实战项目 - 深入解析基于HOG+SVM的行人检测系统：Pedestrian Detection

【计算机视觉】CV实战项目 - 深入解析基于HOG+SVM的行人检测系统：Pedestrian Detection

深入解析基于HOGSVM的行人检测系统：从理论到实践 技术核心：HOGSVM检测框架HOG特征原理SVM分类器 项目架构与数据准备INRIA Person数据集目录结构 实战指南：从零构建检测系统环境配置完整训练流程检测应用 关键技术问题与解决方案1. 难例挖掘不…
阅读更多...
PR第二课--混剪

PR第二课--混剪

1.音乐打点 1.1 手动打点 按钮（如图），或者，快捷键M（如果在已有打点处，再次按M键会进入对标记点的设置界面，如下下图） 1.2 插件打点 一段音乐中，有明显的鼓点时，可以使用打点插件，快捷打点；如果鼓点不明显的话，最好还是手动打点，用插件打点会打出大量的标记点，…
阅读更多...
网页不同渲染方式的应对与反爬机制的处理——python爬虫

网页不同渲染方式的应对与反爬机制的处理——python爬虫

文章目录 写在前面爬虫习惯web 网页渲染方式服务器渲染客户端渲染 反爬机制使用session对象使用cookie让请求头信息更丰富使用代理和随机延迟 写在前面 本文是对前两篇文章所介绍的内容的补充，在了解前两篇文章——《爬虫入门与requests库的使用》和《BeautifulSou…
阅读更多...
高级电影感户外街拍人像摄影后期Lr调色教程，手机滤镜PS+Lightroom预设下载！

高级电影感户外街拍人像摄影后期Lr调色教程，手机滤镜PS+Lightroom预设下载！

调色介绍 高级电影感户外街拍人像摄影后期 Lr 调色，是运用 Adobe Lightroom 软件，对户外街拍的人像照片进行后期处理，以塑造出具有电影质感的独特视觉效果。此调色过程借助 Lr 丰富的工具与功能，从色彩、光影、对比度等多维度着手…
阅读更多...
【硬核干货】JetBrains AI Assistant 干货笔记

【硬核干货】JetBrains AI Assistant 干货笔记

快进来抄作业，小编呕心沥血整理的 JetBrains AI Assistant 超干货笔记！ 原文链接：【硬核干货】JetBrains AI Assistant 干货笔记 关于晓数神州 晓数神州坚持以“客户为中心”的宗旨，为客户提供专业的解决方案和技术服务&#xff…
阅读更多...
Linux部署ragflow,从安装docker开始~

Linux部署ragflow,从安装docker开始~

安装docker https://download.docker.com/linux/static/stable/x86_64/docker-28.0.1.tgz #首先创建一个文件夹，存放我们需要的各类文件,并切换到该目录 mkdir /project && cd /project #此时我们的工作目录已经切换到刚刚创建的文件夹下了，接…
阅读更多...
多态以及多态底层的实现原理

多态以及多态底层的实现原理

本章目标 1.多态的概念 2.多态的定义实现 3.虚函数 4.多态的原理 1.多态的概念 多态作为面对三大特性之一,它所指代的和它的名字一样,多种形态.但是这个多种形态更多的指代是函数的多种形态. 多态分为静态多态和动态多态. 静态多态在前面已经学习过了,就是函数重载以及模板,…
阅读更多...
使用Go语言实现轻量级消息队列

使用Go语言实现轻量级消息队列

文章目录 一、引言1.1 消息队列的重要性1.2 为什么选择Go语言1.3 本文实现的轻量级消息队列特点 二、核心设计2.1 消息队列的基本概念2.1.1 消息类型定义2.1.2 消息结构设计 2.2 架构设计2.2.1 基于Go channel的实现方案2.2.2 单例模式的应用2.2.3 并发安全设计 2.3 消息发布与…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023