AWS之存储服务

news2025/7/19 21:12:32

目录

一、传统存储术语

二、传统存储与云存储的关系

三、云存储之AWS

使用场景

文件存储

数据块存储

对象存储

EBS、EFS、S3对比

EBS块存储

S3对象存储

S3 使用案例

S3 存储类

EFS文件存储


一、传统存储术语

分类

接口/技术类型

应用场景特点

关系及区别

机械硬盘接口

IDE(Integrated Drive Electronics)

早期用于个人电脑,现已逐渐淘汰

机械硬盘接口、固态硬盘接口是硬盘与主机或其他设备连接的物理和协议规范;

FC - SAN、IP - SAN是存储区域网络技术;NFS是文件共享协议;NAS是一种存储设备及技术架构。

机械硬盘和固态硬盘接口用于硬盘设备本身接入系统;FC - SAN、IP - SAN构建存储网络,提供块级存储访问;NFS常用于NAS设备实现文件共享访问。

SATA(Serial Advanced Technology Attachment)

家用和普通办公场景广泛应用,成本低,传输速度适中

SAS(Serial Attached SCSI)

企业级服务器、存储阵列常用,支持多设备连接,性能和可靠性高

SCSI(Small Computer System Interface)

中高端服务器、工作站使用,性能好但成本较高

FC(Fibre Channel)

高端存储区域网络(SAN)应用,传输速度快、低延迟、可靠性高

固态硬盘接口

M.2(曾称NGFF,Next Generation Form Factor)

家用领域应用广,体积小,传输速度快,分多种协议类型

U.2(SFF - 8639,接口规范名称)

适用于企业级应用,支持高速数据传输和热插拔

SATA(Serial Advanced Technology Attachment)

家用和部分企业场景仍在使用,兼容性好

mSATA(mini - Serial Advanced Technology Attachment)

曾用于小型设备如超极本,逐渐被M.2取代

SAS(Serial Attached SCSI)

企业级存储常用,满足高性能、高可靠性需求

PCIE(Peripheral Component Interconnect Express)

可提供极高的数据传输带宽,常用于高端应用

存储区域网络架构

SAN(Storage Area Network)

一种高速网络,提供块级数据存储,分为 FC - SAN(基于光纤通道)和 IP - SAN(基于 IP 网络)

存储网络技术

FC - SAN(Fibre Channel Storage Area Network)

基于光纤通道技术,构建高速、稳定的存储区域网络,适合企业关键业务

IP - SAN(IP Storage Area Network)

基于IP网络,利用iSCSI协议,成本较低,部署灵活,适用于对成本敏感且对性能要求不是极致的企业

文件共享协议

NFS(Network File System)

常用于Unix/Linux系统环境下实现文件共享,方便不同主机间访问共享文件

存储设备及技术

NAS(Network - Attached Storage)

通过网络提供文件级存储服务,适合中小企业、家庭等对文件共享和数据存储有需求的场景,可使用NFS等协议实现文件共享

二、传统存储与云存储的关系

三、云存储之AWS

使用场景

文件存储

数据块存储

对象存储

EBS、EFS、S3对比

以下是AWS主要存储服务的对比表格,综合了EBS、EFS、S3的核心特性与适用场景:

特性

Amazon EBS (块存储)

Amazon EFS (文件存储)

Amazon S3 (对象存储)

Amazon S3 Glacier (归档存储)

数据模型

块级存储(类似硬盘分区)

文件系统(POSIX兼容)

对象存储(键值对)

对象存储(归档层级)

访问方式

挂载到单个EC2实例

多EC2实例/容器共享访问(支持Linux)

REST API/HTTPS访问

REST API/S3生命周期策略触发

典型用例

数据库(如RDS)、需要低延迟的应用

共享代码库、媒体处理流水线

静态网站托管、日志归档、大数据分析

合规性存档、医疗影像存储、备份

性能特点

低延迟(SSD类型IOPS可达64,000)

高吞吐(10+ GB/s并发访问)

高吞吐(单对象5TB上限)

检索延迟分钟级(需配置加速模式)

持久性

99.8%-99.9%(依赖EC2实例状态)

99.999999999%(11个9)

99.999999999%(11个9)

同S3

扩展性

单卷最大64TB(io2 Block Express)

PB级自动扩展

无限扩展

无限扩展

成本结构

按预配置容量和IOPS计费(如gp3 $0.08/GB/月)

按实际使用量计费($0.08/GB/月 + 文件操作费用)

按存储量(标准层$0.023/GB/月)+ 请求次数

存储成本低至$0.004/GB/月,但检索费用较高

生命周期管理

支持快照备份至S3

支持自动分层到低频访问层

支持跨区域复制、版本控制、自动归档到Glacier

需通过S3生命周期策略触发

安全特性

卷加密(AWS KMS)、快照加密

文件级IAM权限控制

存储桶策略、对象ACL、预签名URL

继承S3安全策略

关键差异总结:

  1. 访问粒度• EBS提供块级访问(直接读写磁盘扇区),适合需要精细控制存储结构的场景,如数据库索引优化;• EFS通过文件协议(NFS)支持多节点共享,适合需要协作的开发环境;• S3以对象为最小单元,更适合非结构化数据(如图片、视频)的存储与检索。

  1. 成本敏感性场景• **高频访问**:EBS预置IOPS(io2)成本较高,但性能稳定,适合OLTP数据库;• **低频访问**:S3智能分层(自动切换标准/低频层)可节省30%成本;• **归档场景**:Glacier Deep Archive成本比标准S3低90%,但需接受小时级检索延迟。

  1. 架构集成• EBS需与EC2强绑定,适合单一实例的持久化存储;• EFS可跨AZ挂载,适合容器化应用(如EKS)的共享存储;• S3通过EventBridge触发Lambda,常用于无服务器架构的数据处理流水线。

建议根据数据访问模式(随机/顺序读写)、延迟要求及预算综合选择。例如,电商秒杀系统推荐S3+CloudFront托管静态资源,结合DynamoDB处理订单,而金融交易系统则需EBS优化型卷支撑高并发数据库事务。

EBS块存储

S3对象存储

S3 使用案例

Amazon S3 是一项广泛使用的存储服务,其使用案例数不胜数。要了解详情,请分别展开查看以下六个类别。

备份和存储

Amazon S3 是用于备份文件的理想位置,因为它高度冗余。如上一节课中所述,AWS 将您的 EBS 快照存储在 Amazon S3 中,从而利用其高可用性。

媒体托管

因为采用 Amazon S3,您可以存储无限量的对象,而且单个对象可以达到 5 TB,所以它非常适合托管视频、照片和音乐上传内容。

软件交付

您可以使用 Amazon S3 托管客户可下载的软件应用程序。

数据湖

Amazon S3 为数据湖奠定了坚实基础,因为它的可扩展性几乎不受限制。您可以将内容存储从 GB 增加到 PB 级,只需按实际使用量付费。

静态网站

您可以将 S3 存储桶配置为托管包含 HTML、CSS 和客户端脚本的静态网站。

静态内容

由于 Amazon S3 可以无限扩展、支持大文件以及可让您随时通过 Web 访问任何对象,因此它是存储静态内容的理想场所。

S3 存储类

如果您将对象上传到 Amazon S3,但未指定存储类,则会将对象上传到默认存储类(通常称为标准存储)。在之前的课程中,您已了解默认的 Amazon S3 标准存储类。

利用 Amazon S3 存储类,您能够在数据特征发生变化时更改存储层。例如,如果您很少访问旧照片,则可能需要更改照片的存储类,节省成本。

存储类

描述

S3 标准

适用于云应用程序、动态网站、内容分发、移动和游戏应用程序以及大数据分析的通用型存储。

S3 Intelligent-Tiering

适用于数据访问模式未知或不断变化的情况。将对象存储在三个层中:频繁访问层、不频繁访问层和归档实例访问层。Amazon S3 会监控数据的访问模式,并根据访问频率自动将数据移动到最经济实惠的存储层。

S3 标准 - 不频繁访问存储(S3 标准 - IA)

适用于不常访问、但在需要时要求快速访问的数据。兼具 S3 标准的高持久性、高吞吐量和低延迟特点,同时具有较低的每 GB 存储价格和检索费用,适合存储长期备份和灾难恢复文件等。

S3 One Zone - 不频繁访问存储(S3 One Zone - IA)

将数据存储在单个可用区中,成本低于 S3 标准 - IA。适合针对不频繁访问的数据使用较低费用选项,且不需要 S3 标准或 S3 标准 - IA 的可用性和弹性的客户,适用于存储本地数据或可轻松重新创建的数据的辅助备份副本。

S3 Glacier Instant Retrieval

适用于很少访问,但需要在数毫秒内检索的归档数据。与 S3 标准 - IA 存储类相比,此存储类中存储的数据可节省高达 68% 的成本,延迟和吞吐量性能相同。

S3 Glacier Flexible Retrieval

适用于每年访问 1 - 2 次的归档数据,可提供低成本存储。可使用加速检索在短短 1 - 5 分钟内访问数据,也可在最多 5 - 12 小时内请求免费批量检索,适合备份、灾难恢复、异地数据存储需求等场景。

S3 Glacier Deep Archive

是最低成本的 Amazon S3 存储类。支持长期保留和数字化保存每年可能访问一两次的数据,默认检索时间为 12 小时。可满足监管合规性要求,适用于高度管制的行业,如金融服务、医疗保健和公共部门。

S3 on Outposts

使用 S3 API 和 S3 功能,为本地部署 AWS Outposts 环境提供对象存储。适用于需要满足本地数据驻留要求或出于性能原因,要将数据保留在本地部署应用程序附近的工作负载。

EFS文件存储

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2374957.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Jmeter中的Json提取器如何使用?

在JMeter中使用JSON提取器可以方便地从JSON格式的响应数据中提取特定字段的值。以下是详细步骤和示例: 1. 添加JSON提取器 右击目标HTTP请求 -> 选择 添加 -> 后置处理器 -> JSON提取器。 2. 配置JSON提取器参数 变量名称(Names of created…

从零理解 C++ 中的原子布尔变量:`std::atomic<bool>` 入门指南

文章目录 引言&#xff1a;为什么需要原子变量&#xff1f;一、什么是 std::atomic<bool>&#xff1f;二、为什么不用普通 bool&#xff1f;一个反面例子三、std::atomic<bool> 的用法四、std::atomic<bool> 的优势五、完整示例&#xff1a;多线程文件传输六…

六个仓库合并为一个仓库,保留master和develop分支的bat脚本

利用git subtree可以实现多个仓库合并为一个仓库&#xff0c;手动操作起来太麻烦了&#xff0c;今天花了点时间写了一个可执行的脚本&#xff0c;现在操作起来就方便多了。 1、本地新建setup.bat文件 2、用编辑器打开&#xff08;我用的是Notepad&#xff09; 3、把下面代码…

养生:通往健康生活的桥梁

在生活节奏日益加快的今天&#xff0c;养生已成为维持身心健康的必要手段。从日常饮食到运动锻炼&#xff0c;从睡眠质量到心态调节&#xff0c;每一个环节都对我们的生活品质有着重要影响。以下是一些实用的养生建议&#xff0c;帮助你打造健康生活。 饮食养生&#xff1a;均…

【前端基础】9、CSS的动态伪类(hover、visited、hover、active、focus)【注:本文只有几个粗略说明】

一、什么是伪类 选择器的一种&#xff0c;用于选择处于特定状态的元素。 最常见的现象&#xff1a;鼠标放在某些文字上面&#xff0c;文字就会加上颜色。 鼠标没放上去之前&#xff1a; 鼠标放上去之后&#xff1a; 二、动态伪类 图片来源&#xff08;链接文章也有其他伪…

Simufact Welding重塑新能源汽车电池盒焊接工艺

引言 近年来&#xff0c;新能源汽车行业呈爆发式增长&#xff0c;已然成为全球能源转型与汽车产业升级的核心方向。在新能源汽车中&#xff0c;电池系统占据核心地位&#xff0c;作为电池系统重要组成部分的电池盒&#xff0c;也发挥着不可或缺的作用 。目前&#xff0c;电池盒…

WordPress 网站上的 jpg、png 和 WebP 图片插件

核心功能 1. 转换 AVIF 并压缩 AVIF 将您 WordPress 网站上的 jpg、png 和 WebP 图片转换为 AVIF 格式&#xff0c;并根据您设置的压缩级别压缩 AVIF 图片。如果原始图片已经是 WordPress 6.5 以上支持的 AVIF 格式&#xff0c;则原始 AVIF 图片将仅被压缩。 2. 转换 WebP 并…

如何应对网站被爬虫和采集?综合防护策略与实用方案

在互联网时代&#xff0c;网站内容被恶意爬虫或采集工具窃取已成为常见问题。这不仅侵犯原创权益&#xff0c;还可能影响网站性能和SEO排名。以下是结合技术、策略与法律的综合解决方案&#xff0c;帮助网站构建有效防护体系。 一、技术防护&#xff1a;阻断爬虫的“技术防线”…

AI智慧公园管理方案:用科技重塑市民的“夜游体验”

AI智慧公园管理方案&#xff1a;多场景智能巡检与安全防控 一、背景与痛点分析 夏季夜间&#xff0c;公园成为市民休闲娱乐的核心场所&#xff0c;但管理难度随之激增&#xff1a; 宠物管理失控&#xff1a;未牵绳宠物进入园区&#xff0c;随地排泄、惊扰游客&#xff0c;甚…

LVGL- 按钮矩阵控件

1 按钮矩阵控件 lv_btnmatrix 是 LVGL&#xff08;Light and Versatile Graphics Library&#xff09; v8 中提供的一个非常实用的控件&#xff0c;用于创建带有多个按钮的矩阵布局。它常用于实现虚拟键盘、数字键盘、操作面板、选择菜单等场景&#xff0c;特别适用于嵌入式设…

1. 使用 IntelliJ IDEA 创建 React 项目:创建 React 项目界面详解;配置 Yarn 为包管理器

1. 使用 IntelliJ IDEA 创建 React 项目&#xff1a;创建 React 项目界面详解&#xff1b;配置 Yarn 为包管理器 &#x1f9e9; 使用 IntelliJ IDEA 创建 React 项目&#xff08;附 Yarn 配置与 Vite 建议&#xff09;&#x1f4f7; 创建 React 项目界面详解1️⃣ Name&#xf…

【JVM】从零开始深度解析JVM

本篇博客给大家带来的是JVM的知识点, 重点在类加载和垃圾回收机制上. &#x1f40e;文章专栏: JavaEE初阶 &#x1f680;若有问题 评论区见 ❤ 欢迎大家点赞 评论 收藏 分享 如果你不知道分享给谁,那就分享给薯条. 你们的支持是我不断创作的动力 . 王子,公主请阅&#x1f680; …

算法训练营第十四天|110. 平衡二叉树、257. 二叉树的所有路径、404. 左叶子之和、222.完全二叉树的节点个数

110.平衡二叉树 题目 思路与解法 # Definition for a binary tree node. # class TreeNode: # def __init__(self, val0, leftNone, rightNone): # self.val val # self.left left # self.right right class Solution:def isBalanced(self, r…

在 Elasticsearch 中删除文档中的某个字段

作者&#xff1a;来自 Elastic Kofi Bartlett 探索在 Elasticsearch 中删除文档字段的方法。 更多有关 Elasticsearch 文档的操作&#xff0c;请详细阅读文章 “开始使用 Elasticsearch &#xff08;1&#xff09;”。 想获得 Elastic 认证&#xff1f;查看下一期 Elasticsear…

初识Linux · TCP基本使用 · 回显服务器

目录 前言&#xff1a; 回显服务器 TCPserver_v0 TCPserver_v1--多进程版本 TCPserver_v2--多线程版本 前言&#xff1a; 前文我们介绍了UDP的基本使用&#xff0c;本文我们介绍TCP的基本使用&#xff0c;不过TCP的使用我们这里先做一个预热&#xff0c;即只是使用TCP的A…

【layout组件 与 路由镶嵌】vue3 后台管理系统

前言 很多同学在第一次搭建后台管理系统时&#xff0c;会遇到一个问题&#xff0c;layout组件该放哪里&#xff1f;如何使用&#xff1f;路由又该如何设计&#xff1f; 这边会讲一下我的思考过程和最后的结果&#xff0c;大家可以参考一下&#xff0c;希望大家看完能有所收获。…

mobile自动化测试-appium webdriverio

WebdriverIO是一款支持mobile app和mobile web自动化测试框架&#xff0c;与appium集成&#xff0c;完成对mobile应用测试。支持ios 和android两种平台&#xff0c;且功能丰富&#xff0c;是mobile app自动化测试首选框架。且官方还提供了mobile 应用测试example代码&#xff0…

Spring Bean有哪几种配置方式?

大家好&#xff0c;我是锋哥。今天分享关于【Spring Bean有哪几种配置方式&#xff1f;】面试题。希望对大家有帮助&#xff1b; Spring Bean有哪几种配置方式&#xff1f; 1000道 互联网大厂Java工程师 精选面试题-Java资源分享网 Spring Bean的配置方式主要有三种&#xff…

解析小米大模型MiMo:解锁语言模型推理潜力

一、基本介绍 1.1 项目背景 在大型语言模型快速发展的背景下,小米AI团队推出MiMo系列模型,突破性地在7B参数规模上实现卓越推理能力。传统观点认为32B以上模型才能胜任复杂推理任务,而MiMo通过创新的训练范式证明:精心设计的预训练和强化学习策略,可使小模型迸发巨大推理…

证券行业数字化转型:灵雀云架设云原生“数字高速路”

01 传统架构难承重负&#xff0c;云原生破局成必然 截至2024年&#xff0c;证券行业总资产突破35万亿元&#xff0c;线上交易占比达85%&#xff0c;高频交易、智能投顾等业务对算力与响应速度提出极限要求。然而&#xff0c;以虚拟化为主导的传统IT架构面临四大核心瓶颈&#…