Redis分区/分片详解

news2025/8/7 7:54:02

分区/分片详解

分区是分割数据到多个Redis实例的处理过程,因此每个实例只保存key的一个子集。

在这里插入图片描述

如果只使用一个redis实例时,其中保存了服务器中全部的缓存数据,这样会有很大风险,如果单台redis服务宕机了将会影响到整个服务。解决的方法就是我们可以采用分片/分区的技术,将原来一台服务器维护的整个缓存,现在换为由多台服务器共同维护内存空间。

为什么要分区?

  • 在大数据高并发场景下,单个redis实例往往不足以应付。首先体现在内存上,单个redis的内存不宜过大,内存太大会导致rdb文件过大,进一步导致主从同步时全量同步时间过长,在实例重启恢复时也会消耗很长的数据加载时间,特别是在云环境下,单个实例内存大小往往都是受限的。其次体现在CPU的利用率上,单个redis实例只能利用单个核心,单个核心要完成海量数据的存取和管理工作,压力会非常大。

  • 正是在这样的大数据高并发的需求之下,redis集群方案应运而生。它可以将众多小内存的redis实例整合起来,将分布在多台机器上的众多CPU核心的计算能力聚集在一起,完成海量数据存储和高并发读写操作。

Redis的分区方案

  • 客户端分区

    在客户端就已经决定数据会被存储到哪个redis节点或者从哪个redis节点读取。大多数客户端已经实现了客户端分区。

    在这里插入图片描述

    系统架构

    在这里插入图片描述

    实现方案

    客户端分区方案 的代表为 Redis Sharding,Redis Sharding 是 Redis Cluster 出来之前,业界普遍使用的 Redis 多实例集群 方法。Java 的 Redis 客户端驱动库 Jedis,支持 Redis Sharding 功能,即 ShardedJedis 以及 结合缓存池 的 ShardedJedisPool。

    优点:

    客户端分片的好处就是所有的逻辑都是可控的,不依赖于第三方分布式中间件。开发人员清除怎么实现分片、路由的规则,不用担心踩坑。

    缺点:

    • 这是一种静态的分片方案,需要增加或者减少redis实例的数量,需要手动调整分片的程序

    • 可运维性差。集群的数据出了任何问题都需要运维人员和开发人员一起合作,减缓了解决问题的速度,增加了跨部门沟通的成本

    • 在不同的客户端程序中,维护相同的分片逻辑成本巨大。比如,系统中有两套业务系统共用一套redis集群,一套业务系统用java实现,另一套业务系统用php实现。为了保持分片逻辑的一致性,在java客户端中实现的分片逻辑也需要在php客户端实现一次。相同的逻辑在不同的系统中分别实现,这种设备本来就非常糟糕,而且需要耗费巨大的开发成本保证两套业务系统分片逻辑的一致性

  • 范围分区
    映射一定范围的对象到特定的Redis实例。比如,ID从0到10000的用户会保存到实例R0,ID从10001到 20000的用户会保存到R1,以此类推
    hash一致算法实现分区
    hash一致算法实现分区,对key值进行hash一致性计算后得到结果,最终将数据保存到某一台redis实例中

  • 代理分区

    在这里插入图片描述

    实现方案:

    Twemproxy 也叫 nutcraker,是 twitter 开源的一个 redis 和 memcache 的 中间代理服务器 程序。Twemproxy 作为 代理,可接受来自多个程序的访问,按照 路由规则,转发给后台的各个 Redis 服务器,再原路返回。Twemproxy 存在 单点故障 问题,需要结合 Lvs 和 Keepalived 做 高可用方案。

    基本原理:

    • redis客户端把请求发送到Twemproxy

    • Twemproxy根据路由规则发送到正确的redis实例

    • 最后Twemproxy把结果汇集返回给客户端

    客户端将请求发送给代理,然后代理决定去哪个节点写数据或者读数据。根据分区规则决定请求哪些Redis实例,然后根据Redis的响应结果返回给客户端。redis和memcached的一种代理实现就是Twemproxy

  • 查询路由

    是客户端随机地请求任意一个redis实例,然后由Redis将请求转发给正确的Redis节点。Redis Cluster实现了一种混合形式的查询路由,但并不是直接将请求从一个redis节点转发到另一个redis节点,而是在客户端的帮助下直接redirected到正确的redis节点

Redis分区不足:

  1. 分区是多台redis共同作用,如果一台宕机,其实是整个分片故障。虽然缓解了内存压力,但是没有实现高可用。

  2. 涉及多个key的操作就会不支持。比如当两个set映射到不同的redis实例时,因为他们可能被存储到不同的实例上,所有就无法完成交集操作。

  3. 涉及到多个key的redis事务就不被支持。

  4. 分区对于动态扩容,其实是非常复杂的。因为需要修改客户端代码。

    当两个set映射到不同的redis实例上时,因为他们可能被存储到不同的Redis实例,你就不能对这两个set执行交集操作

Redis一种推荐做法:

例子:

我们Redis容量变动在实际应用中是非常常见的,比如今天我需要10台Redis机器,明天可能就需要50台机器了。

  • 我们可以开启多个Redis实例,尽管是一台物理机器,我们在刚开始的时候也可以开启多个实例。

  • 我们可以从中选择一些实例,比如32或64个实例来作为我们的工作集群。

  • 当一台物理机器存储不够的时候,我们可以将一般的实例移动到我们的第二台物理机上,依次类对,我们可以保证集群中Redis的实例数不变,又可以达到扩充机器的目的。

怎么移动Redis实例呢?当需要将Redis实例移动到独立的机器上的时候,我们可以通过下面步骤实现:

  • 在新的物理机上启动一个新的Redis实例。

  • 将新的物理机作为要移动的那台的slave机器。

  • 停止客户端。

  • 更新将要被移动的那台Redis实例的IP地址。

  • 对于slave机器发送SLAVEOF ON ONE命令。

  • 使用新的IP启动Redis客户端。

  • 关闭不再使用的那个Redis实例。

Redis集群

数据分区是集群的实现基础。集群是数据分区的具体实现。

  • 由于redis出众的性能,其在众多的移动互联网企业中得到广泛的应用。

  • redis在3.0版本前只支持单实例模式,虽然现在的服务器内存可以到100GB、200GB的规模,但是单实例模式限制了redis没法满足业务的需求(比如新浪微博就曾经用redis存储了超过1TB的数据)。

  • redis的开发者Antrres早在博客上就提出在redis3.0版本中加入集群的功能,但3.0版本等到2015年才发布正式版。

  • 各大企业在3.0版本还没有发布前为了解决redis的存储瓶颈,纷纷推出了各自的redis集群方案。这些方案的核心思想就是把数据分片(sharding)存储在多个redis实例中,每一片就是一个redis实例

在这里插入图片描述

实现案例:

Redis cluster是redis作者自己提供的集群化方案

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/15645.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

easyExcel不同版本按照模板导出

Java解析、生成Excel比较有名的框架有Apache poi、jxl。但他们都存在一个严重的问题就是非常的耗内存,poi有一套SAX模式的API可以一定程度的解决一些内存溢出的问题,但POI还是有一些缺陷,比如07版Excel解压缩以及解压后存储都是在内存中完成的…

力扣(LeetCode)7. 整数反转(C++)

模拟 整数反转,需要一个中间变量 ansansans , 循环存入 xxx 的最低位 x%10x\%10x%10, 然后 xx/10x x/10xx/10 ,得到 xxx 新的最低位 。如果进入新的循环,ans10ans\times 10ans10 ,让上一次的 ansansans 十…

Makefile 基础(一) —— 自定义变量、预定义变量、自动变量

目录 一、自定义变量 1、定义变量 2、使用变量 3、修改变量的值 二、预定义变量 三、自动变量 一、自定义变量 1、定义变量 变量定义有两种方式,一种会在使用的时候递归展开,一种是直接赋值。两种定义方式如下: 递归展开&#xff1a…

Servlet的基本使用

目录 一、Servlet是什么 二、Servlet的基本使用 1、创建项目 2、引入依赖 3、创建目录 4、编写代码 5、打包程序 6、部署程序 7、验证程序 三、优化部署方式 1、安装Smart Tomcat 2、使用Smart Tomcat 四、使用Servlet时常见的错误 1、404 2、405 3、500 4、…

Linux文件目录之查看篇【cat、more、less、head、tail、>、>>】【简直不要太详细】

目录cat 查看文件内容morelessecho:将输入内容到控制台>指令和>>指令: >输出重定向 ,>>追加head:tailcat 查看文件内容 cat【选项】 【要查看的文件】 -n 显示行号 注意:cat只能浏览文件,并不能修…

第二章--应用层

2.1应用层协议原理 研发网络应用程序的核心是写出能够运行在不同的端系统和同构网络彼此通信的程序,将应用软件限制在端系统,从而促进大量的网络应用程序的迅速研发和部署。 2.1.1网络应用程序体系结构 应用程序的体系不同于网络的体系结构&#xff0c…

实验(二):单片机数据区传送程序设计

一、实验目的与任务 实验目的: 1. 掌握单片机C语言程序设计和调试方法; 2. 了解单片机RAM中的数据操作。 任务: 1.根据要求编写程序,并写出原理性注释; 2. 检查程序运行的结果,分析一下是否正确&#xff1…

leetcode 42.接雨水,leetcode 503. 下一个更大元素Ⅱ

“即使到不了远方,心中也要有远方的模样。” 文章目录1.leetcode 503. 下一个更大元素Ⅱ1.1 详细思路及步骤1.2 java版代码示例2.leetcode 42.接雨水2.1 详细思路及步骤2.2 java版代码示例1.leetcode 503. 下一个更大元素Ⅱ 1.1 详细思路及步骤 这题基本上和昨天总结…

GoWeb从无到有(读取配置文件、gin、gorm)

GoWeb从无到有 – 读取配置文件、gin、gorm 创建go项目,结构如下 1. golang读取配置文件 引入包 go get -u gopkg.in/ini.v1在main.go的同级目录创建config文件夹,在文件夹中创建配置文件 config.ini # 项目配置 [app] Port8010 # mysql配置 [mysql] …

C++初阶 Stack和Queue的介绍和使用

作者:小萌新 专栏:C初阶 作者简介:大二学生 希望能和大家一起进步 本篇博客介绍:本篇博客会简单的介绍STL中的栈和队列 本章目标 复习下栈这种数据结构特点知道怎么使用STL中的栈复习下队列这种数据结构的特点知道怎么使用STL中…

多功能螯合剂FAPI-04-NH2,FAPI04-氨基,含有DOTA配体显示出良好的药代动力学

NH2-FAPI-04产品描述: FAPI是FAP的特异性抑制剂。在这些FAPI中,含有DOTA配体(FAPI-04)的[68Ga]Ga-DOTA-FAPI-04 PET/CT能显示出良好的体内药代动力学,导致快速kidney​清除和注射后10分钟至3小时的低背景活性。不久之后,[68Ga]Ga-…

Mybatis+Mybatis-plus+SpringBoot整合(完整版)

文章目录一、Mybatis(一)Mybatis简介1、Mybatis历史2、Mybatis特性3、Mybatis下载4、和其它持久化层技术对比(二)搭建Mybatis1、MySQL不同版本的注意事项2、创建Maven工程1、引入依赖3、创建MyBatis的核心配置文件3.1、核心配置文…

SpringMVC学习笔记

目录 SpringMVC 为什么出现了SpringMVC? 什么是SpringMVC? 简单使用 SpringMVC工作流程 设置bean加载控制 在服务器启动时加载SpringConfig 后台接受五种类型参数传递 REST风格 描述 RESTful入门 新建以下目录 实体类 控制器 统一异常处理 新建Code类用于记…

c#反序列化json

语句:JsonConvert.DeserializeObject(json); json字符串: [ { "id": "130000", "cityList": [ { "cityList": [ { …

Linux root用户忘记密码的恢复方法

日常运维工作中可能会遇到服务器忘记root密码的问题,本次以红帽8为例,讲解在忘记root密码后如何绕过密码登录然后重新设置密码的办法 目录 准备工作 问题复现 启动并进入引导 进入修复模式 修改用户密码文件 重置密码 准备工作 下载与系统匹配的…

Python编程 元组的创建

作者简介:一名在校计算机学生、每天分享Python的学习经验、和学习笔记。 座右铭:低头赶路,敬事如仪 个人主页:网络豆的主页​​​​​​ 目录 前言 一.元组知识点 二.元组(tuple) 1.元组介绍(掌握) 2.元组创建(掌握) 3.…

第十四届蓝桥杯校模拟赛-编程大题详解+代码(二)

前言:这几天有不少小伙伴催促我尽快更新后五道编程题题解,然鄙人实在水平有限,实事求是,能力不足,不堪众望。思索良久,第九题有解题思路且已完成部分解题,但未完全完成,第十题尚未有…

python 数据挖掘与机器学习核心技术

近年来,Python编程语言受到越来越多科研人员的喜爱,在多个编程语言排行榜中持续夺冠。同时,伴随着深度学习的快速发展,人工智能技术在各个领域中的应用越来越广泛。机器学习是人工智能的基础,因此,掌握常用…

《FFmpeg Basics》中文版-11-格式之间转换

正文 ffmpeg工具的最常见用法是从一种音频或视频格式转换为另一种相关的格式。 格式参数在输出文件之前由-f选项设置,或者在输入文件之前也有原始输入,具体的可用格式信息在[显示帮助和功能]一章中列出来了。 多媒体格式介绍 文件格式 媒体格式是能够…

OpenSSH移植到Linux开发板

OpenSSH移植到Linux开发板 文章目录OpenSSH移植到Linux开发板前言一、移植zlib库二、 移植openssl库三、 移植openssh库1. 在开发板中创建目录2. 将文件拷贝到对应目录下3. 创建对应软连接4. 开发板上生成密钥文件5. 开启SSH前言 在Linux开发中,有时候需要远程登录…