数据存储介绍

news2025/7/12 11:29:55

数据存储对象包括数据流在加工过程中产生的临时文件或加工过程中需要查找的信息。数据以某种格式记录在计算机内部或外部存储介质上。数据存储要命名,这种命名要反映信息特征的组成含义。数据流反映了系统中流动的数据,表现出动态数据的特征;数据存储反映系统中静止的数据,表现出静态数据的特征。

  • 中文名

    数据存储

  • 外文名

    Data storage

  • 作用

    反映系统中静止的数据

  • 领域

    信息科学

相关视频

  • format,f_auto

    2.3万播放

     

    |

     

    00:24

    工信部:智能网联汽车数据需存储在中国境内

  • format,f_auto

    5171播放

     

    |

     

    12:18

    华为发布数据存储多云战略:拥抱云原生,共赢多云时代

  • format,f_auto

    6195播放

     

    |

     

    00:53

    第二个黑匣子其他部分损毁严重数据存储单元外观较为完好

  • format,f_auto

    5563播放

     

    |

     

    01:30

    《大话集成电路55》数据存储的层次结构:这个金字塔你了解吗?

  • format,f_auto

    5623播放

     

    |

     

    09:30

    2.6.2 分布式存储、边缘数据存储

  • format,f_auto

    6190播放

     

    |

     

    00:51

    第二部黑匣子数据存储单元外观较完好,已送往专业实验室进行译码工作

  • format,f_auto

    5079播放

     

    |

     

    01:53

    《大话集成电路54》数据存储的意义:我国为何布局“东数西算”?

  • format,f_auto

    5647播放

     

    |

     

    03:18

    创益通:相对来说,公司在高速互连产品及数据存储应用等技术领域具备一定优势

  • format,f_auto

    5100播放

     

    |

     

    01:33

    Filecoin赋能企业级数据存储

  • format,f_auto

    5166播放

     

    |

     

    00:48

    「全国首部智能网联汽车法规出台」数据存储期 不得少于三十日

  • 查看更多

  •  

快速
导航

  • 三类存储方式
  •  
  • 存储价格陷阱
  •  
  • 杀死数据中心数据存储容量的真凶

 

存储介质

磁盘和磁带都是常用的存储介质。数据存储组织方式因存储介质而异。在磁带上数据仅按顺序文件方式存取;在磁盘上则可按使用要求采用顺序存取或直接存取方式。数据存储方式与数据文件组织密切相关,其关键在于建立记录的逻辑与物理顺序间对应关系,确定存储地址,以提高数据存取速度。

 

三类存储方式

 

DAS

DAS(Direct Attached Storage)直接附加存储方式与我们普通的PC存储架构一样,外部存储设备都是直接挂接在服务器内部总线上,数据存储设备是整个服务器结构的一部分。

DAS存储方式主要适用以下环境:

1)小型网络

因为网络规模较小,数据存储量小,且也不是很复杂,采用这种存储方式对服务器的影响不会很大。并且这种存储方式也十分经济,适合拥有小型网络的企业用户。

2)地理位置分散的网络

虽然企业总体网络规模较大,但在地理分布上很分散,通过SAN或NAS在它们之间进行互联非常困难,此时各分支机构的服务器也可采用DAS存储方式,这样可以降低成本。

3)特殊应用服务器

在一些特殊应用服务器上,如微软的集群服务器或某些数据库使用的原始分区,均要求存储设备直接连接到应用服务器。

4)提高DAS存储性能

在服务器与存储的各种连接方式中,DAS曾被认为是一种低效率的结构,而且也不方便进行数据保护。直连存储无法共享,因此经常出现的情况是某台服务器的存储空间不足,而其他一些服务器却有大量的存储空间处于闲置状态却无法利用。如果存储不能共享,也就谈不上容量分配与使用需求之间的平衡。

DAS结构下的数据保护流程相对复杂,如果做网络备份,那么每台服务器都必须单独进行备份,而且所有的数据流都要通过网络传输。如果不做网络备份,那么就要为每台服务器都配一套备份软件和磁带设备,所以说备份流程的复杂度会大大增加。

想要拥有高可用性的DAS存储,就要首先能够降低解决方案的成本,例如:LSI的12Gb/s SAS,在它有DAS直联存储,通过DAS能够很好的为大型数据中心提供支持。对于大型的数据中心、云计算、存储和大数据,所有这一切都对DAS存储性能提出了更高的要求,云和企业数据中心数据的爆炸性增长也推动了市场对于可支持更高速数据访问的高性能存储接口的需求,因而LSI 12Gb/s SAS正好是能够满足这种性能增长的要求,它可以提供更高的IOPS和更高的吞吐能力,12Gb/s SAS提高了更高的写入的性能,并且提高了RAID的整个综合性能。

与直连存储架构相比,共享式的存储架构,比如SAN(storage-area network)或者NAS(network-attached storage)都可以较好的解决以上问题。于是乎我们看到DAS被淘汰的进程越来越快了。可是到2012年为止,DAS仍然是服务器与存储连接的一种常用的模式。事实上,DAS不但没有被淘汰,近年来似乎还有回潮的趋势。

 

NAS

NAS(Network Attached Storage)数据存储方式全面改进了以前低效的DAS存储方式。它采用独立于服务器,单独为网络数据存储而开发的一种文件服务器来连接所存储设备,自形成一个网络。这样数据存储就不再是服务器的附属,而是作为独立网络节点而存在于网络之中,可由所有的网络用户共享。

NAS的优点:

1)真正的即插即用

NAS是独立的存储节点存在于网络之中,与用户的操作系统平台无关,真正的即插即用。

2)存储部署简单

NAS不依赖通用的操作系统,而是采用一个面向用户设计的,专门用于数据存储的简化操作系统,内置了与网络连接所需要的协议,因此使整个系统的管理和设置较为简单。

3)存储设备位置非常灵活

4)管理容易且成本低

NAS数据存储方式是基于现有的企业Ethernet而设计的,按照TCP/IP协议进行通信,以文件的I/O方式进行数据传输。

NAS的缺点:

(1)存储性能较低 (2)可靠度不高

 

SAN

1991年,IBM公司在S/390服务器中推出了ESCON(Enterprise System Connection)技术。它是基于光纤介质,最大传输速率达17MB/s的服务器访问存储器的一种连接方式。在此基础上,进一步推出了功能更强的ESCON Director(FC SWitch),构建了一套最原始的SAN系统。

SAN(Storage Area Network)存储方式创造了存储的网络化。存储网络化顺应了计算机服务器体系结构网络化的趋势。SAN的支撑技术是光纤通道(FC Fiber Channel)技术。它是ANSI为网络和通道I/O接口建立的一个标准集成。FC技术支持HIPPI、IPI、SCSI、IP、ATM等多种高级协议,其最大特性是将网络和设备的通信协议与传输物理介质隔离开,这样多种协议可在同一个物理连接上同时传送。

SAN的硬件基础设施是光纤通道,用光纤通道构建的SAN由以下三个部分组成:

1)存储和备份设备:包括磁带、磁盘和光盘库等。

2)光纤通道网络连接部件:包括主机总线适配卡、驱动程序、光缆、集线器、交换机、光纤通道和SCSI间的桥接器

3)应用和管理软件:包括备份软件、存储资源管理软件和存储设备管理软件。

SAN的优势:

1)网络部署容易;

2)高速存储性能。因为SAN采用了光纤通道技术,所以它具有更高的存储带宽,存储性能明显提高。SAn的光纤通道使用全双工串行通信原理传输数据,传输速率高达1062.5Mb/s。

3)良好的扩展能力。由于SAN采用了网络结构,扩展能力更强。光纤接口提供了10公里的连接距离,这使得实现物理上分离,不在本地机房的存储变得非常容易。[1]

 

三种存储方式比较

存储应用最大的特点是没有标准的体系结构,这三种存储方式共存,互相补充,已经很好满足企业信息化应用。

 

从连接方式上对比,DAS采用了存储设备直接连接应用服务器,具有一定的灵活性和限制性;NAS通过网络(TCP/IP,ATM,FDDI)技术连接存储设备和应用服务器,存储设备位置灵活,随着万兆网的出现,传输速率有了很大的提高;SAN则是通过光纤通道(Fibre Channel)技术连接存储设备和应用服务器,具有很好的传输速率和扩展性能。三种存储方式各有优势,相互共存,占到了磁盘存储市场的70%以上。SAN和NAS产品的价格仍然远远高于DAS.许多用户出于价格因素考虑选择了低效率的直连存储而不是高效率的共享存储。

客观的说,SAN和NAS系统已经可以利用类似自动精简配置(thin provisioning)这样的技术来弥补早期存储分配不灵活的短板。然而,之前它们消耗了太多的时间来解决存储分配的问题,以至于给DAS留有足够的时间在数据中心领域站稳脚跟。此外,SAN和NAS依然问题多多,无法解决。[2]

 

存储价格陷阱

有时候需要对系统进行叉车式升级,但在采购过程中稍加推敲,可以避开存储采购中可能遇到的价格陷阱。

 

存储价格变化万千

存储设备是由技术变革而造成浪费性支出的典型,但也存在其必然性和必要性。在2005年,集成驱动电子设备(IDE)主要被用作低端数据存储,而小型计算机系统接口(SCSI)硬盘主要用于高端服务器。IDE非常慢,直到其发展为增强型IDE,之后就是SATA技术登场。SATA III2015年以及可以与高端存储选项——串行链接SCSI(SAS)媲美——而且成本更低。

所有这些存储设备都使用旋转硬盘,这样的硬盘无法与2015年的闪存抗衡。闪存一开始是作为摄像机存储介质,脆弱而小众,但2015年已经成为大多数数据中心设备厂商首选的存储介质。

 

隐藏成本

即使硬件相对便宜,管理和大部分相关工具都会增加存储的成本。

只能识别物理阵列的工具已经被虚拟化抛弃。那些能够处理虚拟化世界存储的软件,发现虚拟存储依旧依赖于底层的物理驱动器平台支持。

需要有一个战术策略,需要在下一次技术叉车升级之前,最大化现有技术的利用。但战术决策并不是战略,将两者混为一谈会导致IT机构走向错误的技术方向。

如果当前存储供应商一直灌输——你闪存存储十分脆弱,并且可用性未经证实,那么很可能你已经买了大型SAS阵列,作为一项战略投资。它曾经是最好的存储,而且你希望其能够在很长一段时间内充分发挥性能而不至于贬值的太厉害,可是2015年该战略已经遇到问题。

以SAS驱动器故障为例,这将导致RAID6重建而严重影响性能。如果遇到需要的尺寸已经停产,寻找替代故障驱动器的备件会变得困难,阵列无法接受不同类型的驱动器。用户会抱怨所有的应用非常缓慢。你想着要添加闪存存储层来提升性能,却发现阵列没有接口支持固态硬盘驱动器。

选择是购买一台新存储,将所有数据都搬走,然后丢掉旧系统——根本无须更换驱动器,它甚至不值得去卖掉以回收资金。

在考虑更新IT平台之前,超前思考——看起来正确的决定,在未来就不那么确定了。了解战术/战略对立和,如果需要长期的解决方案,就必须有标准与商业化。

 

问问供应商,现有的产品如何与旧版本协同工作。如果厂商2015年销售的产品与旧系列不那么兼容,那么很有可能——无论销售代表如何承诺——这预示着下一个叉车升级时刻。

咨询供应商需要坚持一些标准:是否有坚持及时了解市场变化,产品是否完全支持行业标准?超出这些标准是否会与其他厂商的产品出现互操作性方面的问题?

其他厂商是否能够为你正在采购的产品提供互补以提高附加价值?与这些合作伙伴与第三方交流,咨询他们在供应商产品变化时,应对和变更是否容易。[3]

 

杀死数据中心数据存储容量的真凶

数据中心数据存储架构和控制器的异质性,是标准化基础设施实现支撑不同工作负载目的的一大障碍。

针对所有的意愿和目标,数据存储系统核心是产品化,然而在实现不同厂商数据存储阵列互操作的这场战斗上,依旧存在着不同级别上的差异。

分布式计算意味着数据中心数据存储必须和来自不同厂商的服务器互操作,这增加了数据存储架构标准化的要求,云计算促使标准化有更大的进步。

 

数据存储管理

数据中心存储容量管理一直都依赖于某个相对不变的数据存储基本技术:传统机械硬盘。机械硬盘只有少数几个制造商——西部数据与希捷,还有日立和东芝——硬盘本质上是一种商品。

问题需要通过实现不同品牌的阵列和控制器协同工作来解决。有些公司购买了高端、昂贵的存储,如EMC的Symmetrix VMAX,希望通过单一的工具集来管理整个数据存储。然而,磁盘阵列的运行是通过阵列控制器中的专用软件和数据存储来控制,这对创建完整功能的数据存储管理工具来说是存在问题的。

数据存储供应商——IBM有SAN Volume Controller,EMC则使用VPLEX,还有日立的Hitachi Data Systems,HP以及NetApp,都在吹捧各自专有的数据存储管理工具,宣称其能实现虚拟化存储架构的融合。然而这些工具基本只支持自己厂商的数据存储系统,而且在大多数情况下,还只针对部分产品。最终用户在寻找真正的数据存储,高功能异构数据存储管理工具的道路上无果而终。

云计算正在改变我们对数据存储的看法。工作负载变得越来越混合,数据存储需要根据不同的I/O需求管理对象,文件和块模式。尽管如此,要支持云架构,数据存储基础设施必须被作为单一的资源池来看待,组织需要能够自动化适应工作负载的变更。只有通过提供高度标准化的数据存储工具才可能实现这样的功能。这一举措已经开始,但仍然有很长的路要走。

 

闪存数据存储救场

标准化数据中心数据存储容量很难只通过磁盘存储来单独创建。介质依赖于磁盘盘片之间的互相作用,读/写刺头需要智能磁盘控制器进行调解以管理不同工作负载的需求。

闪存数据存储的数据管理方法不同于硬盘。闪存数据存储是直接访问存储架构;不需要通过磁头寻找正确的磁盘区域来检索数据,所以没有延时。数据存储管理速度的优势意味着闪存可以应用在相同阵列的不同工作负载类型上。它也更统一跨越不同供应商的数据存储产品实现虚拟化。

最后,标准化数据存储可能是个真正的承诺额,而不仅仅是个谈论的焦点——但还很遥远。

 

数据存储销售商仍旧有许多不同的方式来推销部署闪存。许多老牌数据存储厂商通过一种混合的方式兜售:在磁盘阵列前增加独立的闪存层。工作负载需要的数据存储不在这个闪存层时可能会出现问题,因为控制器需要从硬盘拉取这些数据存储。这使得某些数据存储操作可能比纯硬盘阵列还要慢。

最大化现有数据中心数据存储容量投资的一个必要步骤是层叠纯闪存和磁盘阵列系统。尽管如此,这些现有的传统阵列会成为建造单一管理层时候的麻烦制造者。EMC ViPR数据存储虚拟化产品已经展示了自己的承诺,为混合数据存储架构提供了更大的控制权限。

全闪存阵列被一起捆绑在混合数据存储的激烈竞争中。闪存数据存储如Pure Storage、Violin Memory和Nimble Storage,提供了智能软件可以最小化数据存储卷,并且提供先进的数据存储管理系统管理整个虚拟化环境。

 

数据存储系统融合

融合基础设施(CI)系统遇到云数据存储管理时,有点搅混水的势头。

Nutanix——一家以数据存储空间起家的供应商,提供超级CI平台服务,其中包括先进的数据存储管理软件。IBM的PureFlex系统和PureData系统,Dell的PowerEdge FX2系统,HP的Converged Infrastructure,以及其他数据存储产品也提供了各种方法来实现直连数据存储与CI系统整合,不仅是现有的阵列还是新型阵列都在加紧扩张与CI的融合。

还有一招可以提高服务器端数据存储连接的速度,如PCIe接口的闪存数据存储器。IBM已经开发了用于自己系统内部连接的方式,可以进一步加快数据存储速度。这个CAPI连接器再次带来了专属问题——这将取决于IBM是否会让连接器能与其他厂商数据存储系统保持高水平的统一协作。融合系统仍然必须集中资源来分享利用。这将需要比我们能看到的还要先进的数据存储工具来支持。[4]

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/8704.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

STM32个人笔记-电源管理

笔记来源于STM32F103VET6,野火指南者,中文参考手册,HAL库开发手册和b站的野火指南者视频。观看过好多次了,但往往理解得不够全面,现记下小笔记,用来回顾。属于个人笔记。 电源监控器 STM32芯片主要通过VDD…

代码审计基础之SQL注入漏洞

1.SQL注入原理 SQL注入就是攻击者通过把恶意的SQL语句插入到Web表单的输入页面中,且插入的恶意语句会导致原有的SQL语句发生改变,从而达到攻击者的目的去让它执行一些危险的数据操作,进一步欺骗服务器去执行一些非本意的操作。 简单来讲&am…

Python BeautifulSoup4 入门使用

一、简介 BeautifulSoup4 与 lxml 一样,是一个 html 解析器,主要功能也是解析和提取数据。 BeautifulSoup4 是 爬虫 必学的技能。BeautifulSoup 最主要的功能是从网页抓取数据,Beautiful Soup 自动将输入文档转换为 Unicode 编码&#xff0c…

Verilog语言中case、casex、casez的用法和区别

casez与casex语句是case语句的两种变体, 在写testbench时用到。case 语句是一种多路条件分支的形式,可以解决 if 语句中有多个条件选项时使用不方便的问题。 一、case、casex、casez的区别 下表给出case、casex、casez的真值表: 1)在case语…

【计算机网络实验】防火墙访问控制列表实验

实验内容 防火墙访问控制列表实验 实验目的 理解访问控制列表的工作原理;了解访问控制列表的类型;学习标准访问控制列表的配置。 实验要求 1 实验拓扑图 本实验所用的网络拓扑如图1所示。 图1 ACL实验拓扑结构 2 实验步骤 Router0配置;&…

解决 npm install express 遇到的问题总结

方法1:权限 以管理员身份运行cmd执行npm install express --save命令 方法2:切换镜像源 查看镜像源 npm config get registry 如果要直接更换淘宝:npm config set registry https://registry.npmmirror.com/ 使用nrm切换 1.安装nrm npm i …

106362-34-9,(D-Ala1)-Peptide T amide

肽t的有效类似物DAPTA (aSTTTNYT-amide)在单核/巨噬细胞中显示出很强的抗hiv - 1活性,该肽抑制病毒的进入。 编号: 110545中文名称: 肽T、(D-Ala1)-Peptide T amide英文名: (D-Ala1)-Peptide T amideCAS号: 106362-34-9单字母: H2N-DAla-STTTNYT-NH2三字母: H2N-DAl…

设计模式 — 抽象工厂模式

抽象工厂模式女娲的失误实例 一实例 二抽象工厂模式的应用抽象工厂模式的优点抽象工厂模式的缺点抽象工厂模式的使用场景抽象工厂模式的注意事项女娲的失误 女娲造人的故事。人是造出来了,世界也热闹了,可是低头一看,都是清一色的类型&#…

Spark框架概述

Spark 框架概述 1.1. Spark是什么 定义:Apache Spark是用于大规模数据处理的统一分析引擎。 弹性分布式数据集RDD是一种分布式内存抽象,其使得程序员能够在大规模集群中做内存运算,并且有一定的容错方式。而这也是整个Spark的核心数据结构…

体验静态代码块

定义 public class Game {// 静态代码块static {System.out.println("static...run...");}// 构造方法public Game() {System.out.println("game...construct...");} }使用 结论 静态代码块在类被首次加载的时候触发启动

效能优化实践:C/C++单元测试万能插桩工具

研发效能是一个涉及面很广的话题,它涵盖了软件交付的整个生命周期,涉及产品、架构、开发、测试、运维,每个环节都可能影响顺畅、高质量地持续有效交付。在腾讯安全平台部实际研发与测试工作中我们发现,代码插桩隔离是单元测试工作…

theos tweak导入自定义类

有时,我们使用tweak的时候需要用到自定义的类,那么怎么引用呢? 假设我们有一个自定义类,people.h/people.m 那么分两种情况: 情况一,直接使用官方的tweak工程: 目录结构一般如下: …

[第九篇]——Docker 镜像使用

Docker 镜像使用 当运行容器时,使用的镜像如果在本地中不存在,docker 就会自动从 docker 镜像仓库中下载,默认是从 Docker Hub 公共镜像源下载。 下面我们来学习: 1、管理和使用本地 Docker 主机镜像2、创建镜像列出镜像列表 …

蛋白纯化-实验设计

小 M 不怕纯化“难”,IP、WB 只等闲。泡了两年实验室的小 M,理论与实操经验共有,且看我如何闯过蛋白纯化的几道“关”。 第一关 产品选择 小 M 敲黑板:此关最基础也最重要,谨防“一步错,步步错”。 亲和层析…

jenkins+junit4+allure+selenium实现自动化测试与结果可视化

安装包 jenkins.war jdk-8u332-linux-x64.tar.gz https://repo1.maven.org/maven2/io/qameta/allure/allure-commandline/2.17.2/ allure-commandline-2.17.2.zip https://chromedriver.storage.googleapis.com/index.html chromedriver 安装JDK 解压 tar xvf…

优盘数据恢复如何操作?恢复U盘数据的三个简单方法

对于我们用户来说,经常使用U盘来存储一些重要的文件是很常见的事。很多用户在使用的时候,经常因为操作不规范,而造成一些数据丢失。那么我们该如何做呢?优盘数据恢复如何操作?今天小编就来为大家分享一下关于如何将U盘…

基于梯度的图像边缘检测

参考视频:https://www.bing.com/videos/search?qacomputationalapproachtoedgedetection&docid608014236869751913&mid8C04384FFDD6A47533238C04384FFDD6A4753323&viewdetail&FORMVIRE 参考文献:A Computational Approach to Edge Dete…

【图像去噪】基于空间光谱总变化减少高光谱图像的混合噪声(Matlab代码实现)

👨‍🎓个人主页:研学社的博客 💥💥💞💞欢迎来到本博客❤️❤️💥💥 🏆博主优势:🌞🌞🌞博客内容尽量做到思维缜…

线程的“打断”

【打断线程的三个方法】: //Thread.java public void interrupt() //t.interrupt() 打断t线程(设置t线程某给标志位ftrue,并不是打断线程的运行) public boolean isInterrupted() //t.isInterrupted() 查询打…

线程池源码解析 1.前导_FutureTask源码解析

线程池—FutureTask源码解析 简介 在学习线程池之前,需要先学习一下 FutureTask,因为线程池 submit 的结果就是 FutureTask。 那么什么是 FutureTask,其表示一个未来的任务。也就是说这个任务比较耗时,当前调用线程会阻塞拿到这…