云计算与大数据进阶 | 28、存储系统如何突破容量天花板?可扩展架构的核心技术与实践—— 分布式、弹性扩展、高可用的底层逻辑(下)

news2025/5/25 20:33:02

在上篇中,我们围绕存储系统可扩展架构详细探讨了基础技术原理与典型实践。然而,在实际应用场景中,存储系统面临的挑战远不止于此。随着数据规模呈指数级增长,业务需求日益复杂多变,存储系统还需不断优化升级,才能持续突破容量天花板,为云计算与大数据的发展提供坚实支撑。接下来,我们将深入探索存储系统可扩展架构的SAN系统统一存储系统的扩展性

三、SAN系统的扩展性

在存储系统的世界里,SAN 系统和 NAS 系统就像是两个功能强大却各有专长的 “数据管家”。很多人以为它们的差异在于存储数据的仓库(底层存储阵列)不同,其实关键在于它们如何与服务器 “对话”—— 也就是网络连接方式和使用的通信协议。

想象一下,SAN 系统就像一个高效的 专线快递员,它支持 iSCSI、Fibre - Channel、Fiber - Channel - over - Ethernet 这些 “专属快递通道” 协议,能快速地把数据块送到服务器手中。而 NAS 系统更像是一个 “文件中转站”(想了解NAS的朋友,点击:云计算与大数据进阶 | 27、存储系统如何突破容量天花板?可扩展架构的核心技术与实践—— 分布式、弹性扩展、高可用的底层逻辑(上)-CSDN博客),主要使用 NFS、CIFS 这类协议,擅长处理文件级别的数据传输,方便多个客户端共享文件。

 图1:统一NAS的存储阵列


以统一 NAS 为例,它的存储阵列里的每个 NAS 机头就像中转站的 “前台” 和 “后台”。以上图为例。

前端端口(以太网端口)是 “前台”,负责接待客户端,处理它们的文件读取和写入请求;后端端口则是 “后台”,连接着存储控制器,通过 iSCSI 端口和 FC 端口,让主机能直接或者通过存储网络拿到数据块。

另一种基于 SAN 的存储阵列,为了更好地扩展,引入了 NAS 网关设备。在这个方案里,NAS 网关和存储系统之间通过传统的 FC SAN “专线” 通信。这里有个有趣的点:NAS 网关给每个客户端的接口像一个单独的文件夹,而树状文件系统接口厉害之处在于能几乎无限制地扩充存储阵列。看图2。

图2:NAS网关存储阵列

不过就像仓库太大找东西会变慢一样,文件系统太庞大也会拖慢系统性能。所以部署这个方案时,得像规划复杂的物流网络一样,考虑好数据传输路径、备用路线(冗余结构)和任务分配(负载分布)。

那么基于 SAN 的存储阵列是怎么实现扩展的呢?答案是核心 - 边缘网络连接结构,这个结构就像城市的交通网络。见图3为例。

图3:核心-边缘结构

它有两层 “交通枢纽”—— 核心层和边缘层。边缘层是城市里的普通路口(交换机),用比较低成本的方式,让更多的主机(车辆)能接入网络。每个边缘层的 FC 交换机通过 ISL “道路” 连接到核心层的 FC 控制器(主干道上的高速路口)。

核心层则像城市交通的指挥中心,保证整个网络连接的稳定和高效,所有的数据通信基本都要经过这里或者在这里完成。在这个网络里,存储设备都连接在核心层,就像仓库都建在交通枢纽附近,让主机拿数据时只需要经过一条 “路”(ISL),速度更快。

对性能要求高的主机还能直接连接到核心层,避开路上的拥堵(ISL 时延)。而且边缘层的交换机之间是不直接相连的,这样既保证了网络的连接性,又提高了端口的使用效率。如果网络需要扩展,就像城市要修新的路口和道路,添加新的边缘交换机连到核心交换机,或者在核心层增加更多的交换机和控制器就行。根据核心层交换机数量不同,这个结构还能变成单核拓扑、双核拓扑等不同 “城市布局”,比如把单核拓扑变成双核拓扑,就像给城市增加了一条主干道,通过新建 ISL “道路”,把每个边缘交换机连接到新的核心交换机上。

四、统一存储系统的扩展性

统一存储系统指的是一个存储控制器可以应对不同类型的存储需求。在统一存储系统中,对存储的数据块、文件和对象等的I/O请求通过不同的I/O路径传输。

统一存储系统最厉害的地方在于一个存储控制器就能应对各种各样的存储需求。想象这个控制器是物流中心的 “总指挥”,它能根据不同类型的 “货物”,安排最合适的运输路线。当客户端发出对数据块、文件和对象等的 I/O 请求时,就好比客户要求发送不同类型的货物,存储系统会通过不同的 I/O 路径来传输这些数据,就像物流中心为不同货物规划专属的运输通道。这种灵活的处理方式,让统一存储系统在复杂的数据存储场景中,既能保证效率,又能满足多样化的需求 ,就像一个真正的全能管家,有条不紊地打理着庞大的数据世界。统一存储系统如图4所示。

图4: 统一存储系统

①数据块I/O请求:应用程序服务器连接到存储控制器的iSCSI、FC或FCoE端口上,服务器通过iSCSI、FC或FCoE连接发送数据块I/O请求。存储控制器可处理数据块I/O请求,并响应应用程序服务器。

②文件I/O请求:NAS客户端(装载或映射NAS共享的位置)使用NFS或CIFS协议向NAS控制器发送文件I/O请求。NAS控制器会接收请求,将其转换为数据块I/O请求,并将其转发到存储控制器。接收到存储控制器的数据块数据后,NAS控制器会再次将数据块I/O请求转换为文件I/O请求,并将数据发送到NAS客户端。

③对象I/O请求:Web应用程序服务器通常使用REST、SOAP或API将对象I/O请求发送到OSD(Object Storage Device,对象存储设备)节点。OSD节点会接收请求,将其转换为数据块I/O请求,并发送给存储控制器。存储控制器会处理数据块I/O请求并响应OSD节点,将请求的对象提供给Web应用程序服务器。

统一存储系统奠定了存储云平台的基础,它屏蔽了底层异构存储的复杂性,将现有的异构物理存储(不同类型的存储设备、不同厂家的产品)转变为简单的、可扩展的开放式云存储平台。同时该系统还可以为数据中心中的其他层(如IaaS、PaaS、SaaS等平台)提供简单、高效、开放、可扩展的API,为实现全数据中心云化打下坚实的基础。

为了保证存储云平台的扩展性和开放性,存储云平台通过基于行业标准的存储管理接口标准(Storage Management Initiative Specification,SMI-S)接口或接入软件存储平台(例如开源的Ceph)实现底层物理存储设备的接入。存储云平台通常需要对外提供开放式API,以便进行扩展和二次开发;采用集群部署架构,根据存储资源的规模进行横向扩展,以保证整个存储云平台具有良好的可扩展性。SMI-S是存储网络工业协会(Storage Networking Industry Association,SNIA)制定的、符合ISO标准的异构存储间的互联互通协议,目前被用于超过800款硬件、75款软件存储产品上。Ceph是开源的免费软件存储平台,它虽然是基于对象存储,但是在结构层提供文件、数据块及对象存储API。SMI-S专注于异构存储间的互联互通,而Ceph专注于基于商品现货硬件平台搭建廉价的、可扩展的存储平台。

回顾上下两篇文章,我们系统探讨了存储系统突破容量天花板的关键技术与实践,这些技术并非孤立存在,而是相互协作、相互补充,共同构建起强大而灵活的存储架构。

展望未来,随着云计算、大数据、人工智能等技术的飞速发展,数据规模将持续呈爆炸式增长,对存储系统的要求也会越来越高。存储系统突破容量天花板的探索永无止境,新兴技术如分布式存储与 AI 的深度融合、更高效的存储介质创新等,将为存储系统的发展带来新的机遇与挑战。相信在不断的技术创新与实践中,存储系统将以更强大的性能、更灵活的扩展性,为数字时代的数据存储需求保驾护航,助力各行各业在数据的海洋中自由遨游。

 (文/Ricky - HPC高性能计算与存储专家、大数据专家、数据库专家及学者) 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2385591.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

水利数据采集MCU水资源的智能守护者

水利数据采集仪MCU,堪称水资源的智能守护者,其重要性不言而喻。在水利工程建设和水资源管理领域,MCU数据采集仪扮演着不可或缺的角色。它通过高精度的传感器和先进的微控制器技术,实时监测和采集水流量、水位、水质等关键数据&…

origin绘图之【如何将横坐标/x设置为文字、字母形式】

在使用 Origin 进行科研绘图或数据可视化的过程中,我们常常会遇到这样一种需求:希望将横坐标(X轴)由默认的数字形式,改为字母(如 A、B、C……)或中文文字(如 一、二、三……&#xf…

工业智能网关建立烤漆设备故障预警及远程诊断系统

一、项目背景 烤漆房是汽车、机械、家具等工业领域广泛应用的设备,主要用于产品的表面涂装。传统的烤漆房控制柜采用本地控制方式,操作人员需在现场进行参数设置和设备控制,且存在设备智能化程度低、数据孤岛、设备维护成本高以及依靠传统人…

Kafka Streams 和 Apache Flink 的无状态流处理与有状态流处理

Kafka Streams 和 Apache Flink 与数据库和数据湖相比的无状态和有状态流处理的概念和优势。 在数据驱动的应用中,流处理的兴起改变了我们处理和操作数据的方式。虽然传统数据库、数据湖和数据仓库对于许多基于批处理的用例来说非常有效,但在要求低延迟…

LM-BFF——语言模型微调新范式

gpt3(GPT3——少样本示例推动下的通用语言模型雏形)结合提示词和少样本示例后,展示出了强大性能。但大语言模型的训练门槛太高,普通研究人员无力,LM-BFF(Making Pre-trained Language Models Better Few-shot Learners)的作者受gp…

NVMe高速传输之摆脱XDMA设计2

NVMe IP放弃XDMA原因 选用XDMA做NVMe IP的关键传输模块,可以加速IP的设计,但是XDMA对于开发者来说,还是不方便,原因是它就象一个黑匣子,调试也非一番周折,尤其是后面PCIe4.0升级。 因此决定直接采用PCIe设…

pycharm无需科学上网工具下载插件的解决方案

以下是两种无需科学上网即可下载 PyCharm 插件的解决思路: 方法 1:设置 PyCharm 代理 打开 PyCharm选择菜单:File → Settings → Appearance & Behavior → System Settings → HTTP Proxy在代理设置中进行如下配置: 代理地…

Halcon计算点到平面的距离没有那么简单

Halcon计算点到平面距离 1. 一些基本概念2. 浅谈有无符号的距离2.1 无符号距离的用武之地2.2 有符号距离的必要性 3. 无符号距离怎么算3.1 创建一个无限延展的基准平面,对距离有什么影响?Halcon代码图示 3.2 创建一个小小小的基准平面,对距离…

数据中台如何设计?中台开发技术方案,数据治理方案,大数据建设方案合集

中台的价值与核心理念 中台的核心在于“企业级能力复用”,其价值体现在四大维度: 能力整合:将分散的数字化能力(如营销、供应链)集中管理,形成核心竞争力; 业务创新:通过跨领域融合…

Adminer 连接mssql sqlserver

第一步 docker-compose.yml adminer部分: version: 3.8 services: adminer: image: adminer:latest container_name: adminer restart: unless-stopped volumes: - ./freetds/freetds.conf:/etc/freetds.conf:rw # 确保 :rw 可读写 co…

C++系统IO

C系统IO 头文件的使用 1.使用系统IO必须包含相应的头文件,通常使用#include预处理指令。 2.头文件中包含了若干变量的声明,用于实现系统IO。 3.头文件的引用方式有双引号和尖括号两种,区别在于查找路径的不同。 4.C标准库提供的头文件通常没…

DELL EMC PowerStore BBU更换手册

写在前面 上周给客户卖了一个BBU电池,客户要写一个更换方案。顺利完成了更换,下面就把这个更换方案给大家share出来,以后客户要写,您就Ctrlc 和Ctrlv就可以了。 下面的步骤是最理想的方式,中间没有任何的问题&#xff…

css五边形

五边形 .fu{width: 172rpx;height: 204rpx;overflow: hidden;border-radius: 10rpx;clip-path: polygon(0% 0%, 100% 0%, 100% 75%, 50% 100%, 0% 75%, 0% 25%); }六边形 clip-path: polygon(50% 0%, 100% 25%, 100% 75%, 50% 100%, 0% 75%, 0% 25%);

三种常见脉冲神经网络编码方式解读

速率编码(rate coding) 速率编码使用输入特征来确定尖峰频率,例如将静态输入数据(如 MNIST 图像)转换为时间上的脉冲(spike)序列。它是将神经元发放脉冲的频率与输入值(如像素强度)…

STM32F103 HAL多实例通用USART驱动 - 高效DMA+RingBuffer方案,量产级工程模板

导言 《STM32F103_LL库寄存器学习笔记12.2 - 串口DMA高效收发实战2:进一步提高串口接收的效率》前阵子完成的LL库与寄存器版本的代码,有一个明显的缺点是不支持多实例化。最近,计划基于HAL库系统地梳理一遍bootloader程序开发。在bootloader程…

HTML回顾

html全称:HyperText Markup Language(超文本标记语言) 注重标签语义,而不是默认效果 规则 块级元素包括: marquee、div等 行内元素包括: span、input等 规则1:块级元素中能写:行内元素、块级元素&…

机器视觉6-halcon高级教程

机器视觉6-halcon高级教程 双目立体视觉原理视差外极线几何双目标定 双目立体视觉之Halcon标定一.标定结果二.Halcon标定过程1.获取左右相机图像中标定板的区域;2.提取左右相机图像中标定板的MARK点坐标和摄像机外部参数;3.执行双目标定;4.获取非标准外极线几何到标…

YOLOv8 的双 Backbone 架构:解锁目标检测新性能

一、开篇:为何踏上双 Backbone 探索之路 在目标检测的领域中,YOLOv8 凭借其高效与精准脱颖而出,成为众多开发者和研究者的得力工具。然而,传统的单 Backbone 架构,尽管已经在诸多场景中表现出色,但仍存在一…

1.4 TypeScript 编译是如何工作的?

TypeScript 是 JavaScript 的超集,最显著的优势是引入了静态类型检查。它能帮助开发者在编写代码阶段捕获错误,从而提升代码的健壮性和可维护性。虽然 TypeScript 本身不能直接在浏览器或 Node.js 中运行,但它可以被编译成标准的 JavaScript&…

Web 服务、 Nfs 服务器以及 Dns 服务器综合实验

要求: 1.web 服务的资源文件通过 nfs 服务器共享 www.luntan.com 2.确保所有主机时间同步 3.定义本地 dns 服务器解析 web 主机域名 实验: 主机服务程序192.168.96.142dns、nfs192.168.96.132web 服务器说明: 设备 IP服务端 192…