缓存相关知识总结

news2025/5/26 3:39:24

一、缓存的作用和分类

        缓存可以减少数据库的访问压力提升整个网站的数据访问速度改善数据库的写入性能。缓存可以分为两种:

        缓存在应用服务器上的本地缓存:访问速度快,但受应用服务器内存限制

        缓存在专门的分布式缓存服务器上的远程缓存:访问速度慢,但内存不受限制

二、常见的缓存技术

        MemCache:是一个高性能的分布式内存对象缓存系统,用于动态网络应用以减轻数据库负载。Memcache在内存内维护一个统一的巨大的hash表,数据存在hash表中。

        Redis:是一个开源的使用ANSI C语言编写、支持网络、可给予内存亦可持久化的日志型、Key-Value数据库,支持多种数据类型(key-value,list,set,string,对象等),并提供多种语言的API。

        Squid:Squid是一个高性能的代理缓存服务器,支持FTP,gopher,HTTPS和HTTP协议

        Redis和Memcache对比:

MemcacheRedis
数据类型简单的key/value结构丰富的数据结构
持久性不支持支持
分布式存储客户端哈希分片/一致性哈希主从、哨兵、集群
多线程支持5.0以后的版本支持
内存管理似有内存池/内存池
事务支持不支持有限支持
数据容灾不支持,掉电消失支持

三、缓存与数据库一致性方案

        数据的读取:

                  1. 根据key从缓存中读取数据;

                2. 若缓存中存在,则返回数据;

                3. 若缓存中不存在,则从数据库中读取,并将数据写入缓存 

        数据的插入/更新/删除:

                1. 先操作数据库中的数据内容

                2. 根据操作更新相应缓存中的内容

四、缓存常见问题

        一、缓存雪崩:

                原因大部分缓存同时失效,导致大量数据请求访问数据库,造成数据库崩溃

                解决方案1. 使用队列或锁,保证不会有大量线程对数据库进行高并发的读写

                                   2. 为缓存设置不同的过期时间,固定数值+随即数值

                                   3. 多级缓存,设置失效事件不同的缓存                                

        二、缓存穿刺:

                原因:查询数据库与缓存中都不存在的数据,造成性能浪费

                解决方案:1. 当数据库中的结果为空时,在缓存中加入默认值。

                                   2. 设置布隆过滤器:将所有可能存在的值放入一个bitmap中。

                布隆过滤器介绍:

                        布隆过滤器用于快速识别一个元元素是否在集合中,通过一个长二进制向量和一系

                列随机映射函数记录和识别某个数据是否在一个集合中。

优点缺点

1. 占用内存小

2. 查询效率高

3. 不存储数据本身,数据安全性好

1. 有一定的误判性

2. 一般情况下不能从中删除元素

3. 不能直接获取需要的数据

        三、缓存预热:

                系统启动后,将相关的缓存数据世界加载到缓存系统中。

                实现方案:

                        1. 编写相关的接口或页面

                        2. 数据量不大时,在项目启动后加载数据

                        3. 定时任务刷新缓存

        四、缓存更新:

                1. 定时清理过期缓存

                2. 根据用户操作,将过期的请求更新到缓存中

        五、缓存降级:

                  降级的目的是保证核心服务的可用,通过记日志等方式,将优先级不高的操作记录

五、Redis的相关介绍

        1. Redis支持的数据类型

                String,Hash(字典),List,Set, Sorted Set(有序集合)

        2. Redis数据的淘汰策略

类型策略实现方式
不淘汰noeviction数据不过期,当内存不足时,写入操作报错
设置了过期时间的键空间volatile-random随即删除某个key
volatile-lru优先移除最近没使用过的key
volatile-ttl优先移除剩余生命周期最短的key
全键空间allkeys-random随即删除某个key
volatile-lru优先移除最近没使用过的key

        3. Redis持久化实现方式

                RDB方式:传统数据库中快照的思想,指定时间间隔将数据进行全量备份

                AOF方式:传统数据库中日志的思想,把每条改变数据集的指令追加到AOF文件中

纬度RDB持久化方案AOF持久化方案
备份量重量级的全量备份,整个数据库数据轻量级的增量备份,一次只保存一个操作指令
间隔时间较长较短,默认1秒
还原速度
备份事阻塞情况save会阻塞,bgsave不会不会
备份文件大小小,只有备份时刻的数据大,包括每次操作的指令
安全性低,备份间隔长,容易丢失数据高,备份间隔短,数据精确

        4. Redis分布式存储方式

                主从模式:一主多从,主节点写数据,从节点度数据,主节点故障时手动切换

                哨兵模式:有哨兵的一主多从,哨兵对节点进行健康监控,主节点故障时自动通过选举

        的方式选择新的主节点

                集群模式:分节点对等集群,分slots,不同slots的信息存储到不同的节点

        5. Redis数据切片方案

分片方案分片方式举例
范围分片按数据分为进行分配,如key值的范围如0-999一组,1000-1999一组
哈希分片通过对值进行hash运算后分片hash后的结果对节点数量取余,对取余结果进行分组
一致性哈希哈希分片的升级有利于节点扩展和删除,解决数据在节点上分布不均与

        一致性哈希的实现方式:

                1. 将存储节点抽象成一个环形,每个节点都有对应的值

                2. 对数据进行哈希运算,按顺时针方向将其映射到离其最近的节点上去

                3. 当有节点出现故障离线时,按照算法的映射方法,受影响的仅仅为环上故障节点开始

        逆时针方向至下一个节点之间区间的数据对象

                4. 当有节点插入式,按照算法的映射方法,受影响的仅仅为环上新节点开始逆时针方向

        至下一个节点之间区间的数据对象

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1593149.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

第十五届蓝桥杯c++b组赛后复盘和真题展示

题目变成八道了,分数一百分可能,感觉拿奖难度还是很高 第一题是一个简单的握手问题 答案算出来1204,纯手写 第二题是 物理题 纯蒙,随便猜了个轨迹,答案具体忘了,最后是 .45 第三题暴力 第四题 我是傻逼…

如何对图像进行聚类

文章来源:https://medium.com/voxel51/how-to-cluster-images-6e09bdff7361 2024 年 4 月 10 日 使用 FiftyOne、Scikit-learn和特征嵌入 在 2024 年深度学习的计算密集型环境中,集群一词最常出现在讨论 GPU 集群时--高度优化的矩阵乘法机器的大规模集…

Java | Leetcode Java题解之第28题找出字符串中第一个匹配项的下标

题目&#xff1a; 题解&#xff1a; class Solution {public int strStr(String haystack, String needle) {int n haystack.length(), m needle.length();if (m 0) {return 0;}int[] pi new int[m];for (int i 1, j 0; i < m; i) {while (j > 0 && needl…

去中心化社交媒体:分析 Facebook 在区块链平台上的角色

在当今数字时代&#xff0c;社交媒体已经成为人们日常生活中不可或缺的一部分。然而&#xff0c;随着人们对数据隐私和信息控制的关注不断增加&#xff0c;传统的中心化社交媒体平台也面临着越来越多的质疑和挑战。为了应对这些挑战&#xff0c;越来越多的人开始探索去中心化社…

windows SDK编程 --- 第一个程序

一、基础知识 1.Unicode 和 ANSI 在 Windows 编程中&#xff0c;Unicode 和 ANSI 是两种不同的字符编码方法&#xff0c;它们用于定义如何在计算机中表示和存储字符数据。 ANSI ANSI&#xff08;American National Standards Institute&#xff09;编码是一种基于单字节的字符…

Docker之自定义镜像上传至阿里云

一、Alpine介绍 Alpine Linux是一个轻量级的Linux发行版&#xff0c;专注于安全、简单和高效。它采用了一个小巧的内核和基于musl libc的C库&#xff0c;使得它具有出色的性能和资源利用率。 Alpine Linux的主要特点包括&#xff1a; 小巧轻量&#xff1a;Alpine Linux的安装…

CentOS7安装node-v20.12.2

个人记录 官网查看最新版本 NodeJs下载地址 进入指定目录 cd /usr/local/下载 wget https://nodejs.org/dist/v20.12.2/node-v20.12.2-linux-x64.tar.xz --no-check-certificate解压 tar -xvf node-v20.12.2-linux-x64.tar.xz查看 ls ls node-v20.12.2-linux-x64编辑配…

7 个适用于 Windows 的最佳电脑分区数据恢复软件

磁盘分区对于正确存储数据以便从硬盘驱动器快速轻松地访问非常有帮助。但是&#xff0c;如果分区损坏&#xff0c;存储在其中的所有数据都会突然变得无法访问。磁盘分区损坏的原因可能有很多&#xff0c;其中最突出的是病毒攻击、突然断电、物理损坏或由于创建坏扇区。 但是&a…

RedisTemplate对象中方法的使用

系列文章目录 文章目录 系列文章目录前言 前言 前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家。点击跳转到网站&#xff0c;这篇文章男女通用&#xff0c;看懂了就去分享给你的码吧。 Redis是一个key-va…

实时智能应答3D数字人搭建2

先看效果&#xff1a; 3d数字人讲黑洞 根据艾媒咨询数据&#xff0c;2021年&#xff0c;中国虚拟人核心产业规模达到62.2亿元&#xff0c;带动市场规模达到1074.9亿元&#xff1b;2025年&#xff0c;这一数据预计将达到480.6亿元与6402.7亿元&#xff0c;同比增长迅猛。数字人可…

【图论】详解链式前向星存图法+遍历法

细说链式前向星存图法 首先要明白&#xff0c;链式前向星的原理是利用存边来进行模拟图。 推荐左神的视频–建图、链式前向星、拓扑排序 比方说有这样一张图&#xff0c;我们用链式前向星来进行模拟时&#xff0c;可以将每一条边都进行编号&#xff0c;其中&#xff0c;红色的…

【MySQL】MySQL在Centos 7环境安装

目录 准备工作 第一步&#xff1a;卸载不要的环境 第二步&#xff1a;下载官方的mysql 第三步 上传到Linux中 第四步 安装 正式安装 启动 ​编辑 登录 准备工作 第一步&#xff1a;卸载不要的环境 使用root进行安装 如果是普通用户&#xff0c;使用 su - 命令&#…

FM、FFM以及DeepFM

FM部分 什么是FM FM是factor machine的简写&#xff0c;中文翻译为因子分解机。为什么需要FM 在进行特征建模的过程中&#xff0c;经常会遇到两种情况&#xff1a; 对特征直接进行建模&#xff0c;未考虑特征之间的关联信息&#xff1b;特征高维稀疏&#xff0c;导致计算量大&…

【详细教程】MySQL 高可用架构代码实现

前言 对于 MySQL 数据库作为各个业务系统的存储介质&#xff0c;在系统中承担着非常重要的职责&#xff0c;如果数据库崩了&#xff0c;那么对于读和写数据库的操作都会受到影响。如果不能迅速恢复&#xff0c;对业务的影响是非常大的。之前 B 站不是出过一次事故么&#xff0…

解决jenkins运行sh报process apparently never started in XXX

个人记录 问题 process apparently never started in /var/jenkins_home/workspace/ks-springboot_mastertmp/durable-bbfe5f99(running Jenkins temporarily with -Dorg.jenkinsci.plugins.durabletask.BourneShellScript.LAUNCH_DIAGNOSTICStrue might make the problem cl…

Electron+React 搭建桌面应用

创建应用程序 创建 Electron 应用 使用 Webpack 创建新的 Electron 应用程序&#xff1a; npm init electron-applatest my-new-app -- --templatewebpack 启动应用 npm start 设置 Webpack 配置 添加依赖包&#xff0c;确保可以正确使用 JSX 和其他 React 功能&#xff…

Java基础(一)--语法入门

文章目录 第一章、语法入门一、Java简介1、JVM2、Java程序执行过程3、JDK4、JRE5、JDK、JRE和JVM三者关系 二、Java常量与变量1、标识符2、关键字3、保留字4、变量5、数据类型6、常量 三、运算符1、算术运算符2、赋值运算符3、关系运算符4、逻辑运算符5、条件运算符6、运算符的…

全国各省环境规制强度数据(2004-2022年)

01、数据简介 以保护环境为目的&#xff0c;对各种环境污染行为进行规制&#xff0c;政府相关政策规制&#xff0c;是社会性规制的重要内容&#xff0c;包含大气、水、废弃物、噪声污染等外部行为&#xff0c;对这些行为进行规制就是要将整个社会为其承担的成本转化为其自身承…

funasr 麦克风实时流语音识别

参考: https://github.com/alibaba-damo-academy/FunASR chunk_size 是用于流式传输延迟的配置。[0,10,5] 表示实时显示的粒度为 1060=600 毫秒,并且预测的向前信息为 560=300 毫秒。每个推理输入为 600 毫秒(采样点为 16000*0.6=960),输出为相应的文本。对于最后一个语音…

根据状态转移图实现时序电路

描述 某同步时序电路的状态转换图如下&#xff0c;→上表示“C/Y”&#xff0c;圆圈内为现态&#xff0c;→指向次态。 请使用D触发器和必要的逻辑门实现此同步时序电路&#xff0c;用Verilog语言描述。 如图所示&#xff1a; 电路的接口如下图所示&#xff0c;C是单bit数据…