【专栏】核心篇06| Redis 存储高可用背后的模式

news2025/7/20 6:00:56

关注公众号 【离心计划】呀,一起逃离地球表面

 Redis专栏合集

【专栏】01| Redis夜的第一章

【专栏】基础篇02| Redis 旁路缓存的价值

【专栏】基础篇03| Redis 花样的数据结构

【专栏】基础篇04| Redis 该怎么保证数据不丢失(上)

【专栏】基础篇05| Redis 该怎么保证数据不丢失(下)

前言

    通过前两节我们了解了在单实例下Redis是如何保证数据不丢失的,而作为NoSql的分布式键值数据库,往往以集群的方式提供服务才能保证所谓的”高可用“,而复杂度也会随着服务模式的改变而提升,多个实例之间的复制延迟导致的数据不一致、宕机实例的发现与切换等问题随之产生,这几乎是所有分布式存储都会遇到的问题,因此我们这一节抛开Redis,从存储高可用的角度看看背后的运作模式与规律。

双机架构

主备与主从

    我们经常会听到主备模式主从模式,这其实属于双机架构中的模式,双机架构顾名思义简化为两台机器扮演不同集群角色,主备模式是一台主实例一台备用实例,主实例负责提供读写服务,备用实例提供对主实例的数据备份工作,主备模式通过备库实现数据冗余保证高可用,但是问题在于备库不提供服务,会造成资源浪费。

主从模式的从库可以提供读服务,这也是读写分离的基本架构,读写分离基于的场景是读多写少,可以有效利用从库分担主库压力,也避免了资源浪费。但是主从模式对于客户端来说需要主动区分读写,并且由于主从同步延迟可能造成数据不一致。

故障切换

    双机架构本质的做法就是冗余一份数据保证集群下的Crash Safe,那么我们套用事前事中与事后的模板,看看在故障发生前中后需要做什么。首先发生前,需要知道双机的各自状态是健康还是故障;当感知到故障时,就需要做双机切换,这个步骤由人工完成或者自动完成;完成切换后,需要补充新的实例保证双机结构完整。无论是主从还是主备都存在故障切换的问题,而在这个问题的处理过程中,就有一个问题:谁来判断故障并完成切换。

双机互联切换

    这种方式是由实例自己来完成切换,在主从架构下可以主从建立连接,从库监听嗅探主库是否正常,当判断为故障时将自己”选举“为新主库从而完成主从故障切换。这里提到了”选举“,是由于双机架构是数据架构原型,一主多从、多主多从都属于双机架构,而在多个从库下从库判断主库故障后会”毛遂自荐“成为主库,当然最后只有一个从库会成为主库,这也是分布式下经典的”共识“问题,这里就不展开了。

    双机互联有个问题在于从库多了就有很多心跳连接,而网络本身具有不可靠性,因此如果从库判断出现问题,则可能会有主库假死,而从库又升级为主库导致的双主库现象,也叫做”脑裂“。脑裂是指左右脑互相感知不到,导致各自向身体发出指令的现象。

中间代理切换

    ”计算机世界一切问题可以加一个中间层解决“,中间代理模式就是加一个中间角色,每个实例向这个中间人汇报自己的状态,最后由这个角色进行状态判断与故障切换的工作。

    中间角色的引入简化了连接上的管理,统一收口到一方,但是也引入了新的问题就是中间角色本身的高可用问题,如果这个中间代理故障了,那么就会影响整个集群的故障切换,因此陷入了为了保证存储高可用而需要保证中间代理高可用的循环。所以通常我们采用有高可用方案的稳定方案比如zookeeper,其中的ZAB算法是一个复杂的共识算法,保证了我们刚才说的唯一实例成为主库的问题。

数据集群模式

    当我们有海量的数据需要存储的时候,在存储架构上我们会想到纵向扩容与横向扩容,这两种方式也映射到了数据集群中的集中式存储与分片式存储两种模式。

集中式存储

    刚才我们提到主从、主备都是数据集中式存储的架构,可以理解为主库和从库直接存储全量数据,我们拿全球人员信息这份数据举例,放到主从架构上那么主库和从库都需要存储全量的人员信息,因此集中式存储存在一个很根本的问题,它的集群存储能力受单机限制,这也是Mysql被称作单机架构存储的原因,虽然Mysql有分库分表等方案,但是会引入更多的问题,对于分库分表都是”能不用就不用“的态度,Mysql本身不具有Auto Sharding(动态拓展)的能力,这也是传统关系型数据库与分布式数据库的区别之一。

分片式存储

    其实我们可以将全球人员信息按照其国籍进行划分,把一份数据切分成多份小数据,而后将不同的分片存储到不同的实例上去。分片式存储有个很重要的能力就是横向扩展,可以非常方便的通过增加实例来提高集群的存储能力,这也是符合云计算环境下的集群模式。

而数据分片引入的问题则是当我写一条数据的时候,应该写到哪里;读的时候,又从哪里去读,这就依赖数据分片时的一个分区键,比如我们刚才将全球人员按照国籍划分则国籍就是我们的分区键。而将读写请求分流的工作,又引出了不同的方式比如通过第三方代理,读写请求先发送到代理,统一由代理负责转发;或者由集群本身提供其中的某台实例来分配;甚至可以直接在客户端做。

小结

    这一小节我们讲了存储高可用下的集群模式,许多存储中间件都是使用了这些模式来保证存储高可用,因此掌握这些基本架构对于理解除了Redis以外的任何数据库集群方案都有很大帮助。下一节我们会回到Redis,看看Redis中更详细的方案。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/37799.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

RabbitMQ------发布确认高级(消息回调、回退、备份交换机)(八)

RabbitMQ------发布确认高级(八) 可能由于某些意外情况,导致RabbitMQ重启,在RabbitMQ重启过程中,生产者投递消息失败,导致消息丢失。 如果才能够保证RabbitMQ的消息可靠性呢? 可能出现两种问题…

大数据毕设选题 - 深度学习火焰识别检测系统(python YOLO)

文章目录0 前言1 基于YOLO的火焰检测与识别2 课题背景3 卷积神经网络3.1 卷积层3.2 池化层3.3 激活函数:3.4 全连接层3.5 使用tensorflow中keras模块实现卷积神经网络4 YOLOV54.1 网络架构图4.2 输入端4.3 基准网络4.4 Neck网络4.5 Head输出层5 数据集准备5.1 数据标…

CSRF漏洞简介

今天继续给大家介绍渗透测试相关知识,本文主要内容是CSRF漏洞原理、产生与危害。 免责声明: 本文所介绍的内容仅做学习交流使用,严禁利用文中技术进行非法行为,否则造成一切严重后果自负! 再次强调:严禁对未…

Maven——分模块开发与设计(重点)

目录 一、模块拆分 1.1 模块拆分思想 1.2 pojo模块拆分 1.3 dao模块拆分 1.4 service模块拆分 1.5 controller模块拆分 二、 聚合——模块聚合 三、继承——模块继承 一、模块拆分 1.1 模块拆分思想 左侧:我们从前的架构,一个人独立做的所有工作文件…

shell脚本的条件判断1:字符串和数字和比较

前言 写脚本时,为了让脚本更接近人类思考问题的方式,可以对各种情况进行判断。例如,经常需要判断某些条件是否成立,如果条件成立该如何处理,如果条件不成立又该如何处理,这些都可以通过Shell脚本的if语句结…

大数据_什么是数据中台?

目录 一、数据中台的定义 二、数据中台必备的是个核心能力 三、数据中台VS业务中台 四、数据中台VS数据仓库 五、数据中台VS现有信息架构 六、数据中台的业务价值与技术价值 一、数据中台的定义 数据中台是一套可持续“让企业的数据用起来”的机制,是一种战略…

vm的生命周期钩子

vm的生命周期钩子(共11个): 前8个: 将要创建>调用beforeCreate函数 创建完毕>调用created函数 将要挂载>调用beforeMount函数 (重要)挂载完毕>调用mounted函数>【重要钩子】 将要更新…

用户画像洞察分类模型 - 前端页面展示

文章目录一、前端与数据智能二、 体验优化需求场景跳失预测交互偏好智能 UI三、 关键技术鲸幂 UICook(智能UI)DataCookPipCookPipeline四、 体验优化实践数据智能实践的一般流程数据采集数据分析 -如何对数据进行分析处理并得出结论数据应用 - 分析结论如…

【C++】string类接口的了解和使用

为什么我们要学string类呢?那是必须是为了方便啊!在C语言中,我们创建一个字符串,有很多操作或者必须要注意的细节会把控不住,所以C中出现了string类,让我们应对字符串等oj题也方便快捷了许多! 目…

linux搭建redis数据库实现远程c语言访问

文章目录 linux安装reidis数据库c语言使用hiredis库实现redis数据库的操作测试代码使用hiredis库制作一个redis数据库管理系统linux安装reidis数据库 linux安装reidis数据库 sudo apt-get install redis-server使用systemctl命令查看redis服务运行状态 sudo systemctl statu…

Visual C++ 2010开发的程序在其它电脑上运行提示“找不到MSVCR100D.dll”原因及解决

Visual C 2010开发的程序在其它电脑上运行提示“找不到MSVCR100D.dll”原因及解决 Microsoft Visual C(简称Visual C、MSVC、VS或VC)2010是微软公司的免费C开发工具,具有集成开发环境,可提供编辑C语言,C以及C/CLI等编程…

惊喜:2023前瞻版Java面试指南,不止八股文

前言: 2022年马上就要过去了,即将要到来的就是2023年的金三银四面试季,随着政策的放宽,经济的逐步复苏,岗位的需求也会越来越大,所以趁这段时间进行知识储备将会是最好的时间段,永远要做快人一…

卷积神经网络——李宏毅机器学习笔记

以Image Classification为例 第一个解释角度: 先将不同尺寸的image,rescale成大小一样的尺寸,再丢到model中。 下图中,我们希望Cross entropy 越小越好 在计算机视角下的图片: 3 channels 对应R G B三个通道 随着模…

VirtualBox安装openEuler方案一

下载: https://www.openeuler.org/zh/mirror/list/ 根据设备架构选择对应的版本:windows是x86架构 选择下面这个4.2G大小的: 安装: 安装部分建议参考另一篇文章:virtualbox安装openEuler-方案二 下面部分的安装…

Flink CDC 2.3 发布,持续优化性能,更多连接器支持增量快照,新增 Db2 支持

01Flink CDC 简介Flink CDC [1] 是基于数据库的日志 CDC 技术,实现了全增量一体化读取的数据集成框架。配合 Flink 优秀的管道能力和丰富的上下游生态,Flink CDC 可以高效实现海量数据的实时集成。作为新一代的实时数据集成框架,Flink CDC 具…

电子班牌解决方案-最新全套文件

电子班牌解决方案-最新全套文件一、建设背景二、建设思路三、建设方案四、获取 - 电子班牌全套最新解决方案合集一、建设背景 信息技术已渗透到经济发展和社会生活的各个方面,人们普遍关注教育信息化在提高国民素质和增强国家创新能力方面的重要作用。 《国家中长…

分块查找 确定查找位置

此时 当low和high指在某个相同的位置mid时(此时low,mid,high指向同一位置),mid的左边元素小于19,因为low左边的元素一定小于19,mid右边的元素大于19,因为high右边的元素大于19。我们需要寻找的是位置是大于…

PMI新人才三角如何构建自己的影响力?【洞见1】

背景: VUCA时代,Volatility(易变性),Uncertainty(不确定性),Complexity(复杂性),Ambiguity(模糊性),这个时代…

c++new和delete的匹配问题与raii的定制删除器

目录 1.关于new与delete 2.智能指针的定制删除器 1.关于new与delete 这里我想介绍的是new[]与delete[]没有配套使用带来的影响。这个是否发生错误和使用的ide有很大的关系。(这里我用vs平台做示例) 如果对内置类型采用new[]来开辟开辟空间&#xff0c…

postgresql源码学习(50)—— 小白学习Dtrace追踪源码函数调用

不知不觉第50篇了,昨天在文章里(https://mp.weixin.qq.com/s/AzBGzYhGxYjSf7Sptj55lQ)学到一个追踪源码执行情况的利器 —— Dtrace,本篇记录下实验和笔记。 一、 解决痛点 学习以来一直有一个疑惑,如何将pg中执行的SQ…