OceanBase 共享存储:云原生数据库的存储

news2025/5/24 6:59:46

目录

探会——第三届 OceanBase 开发者大会

重磅发布:OceanBase 4.3

开发者生态全面升级

实战演讲:用户案例与行业落地

OceanBase 共享存储架构解析

什么是共享存储架构?

云原生数据库的架构

性能、弹性与多云的统一

为何OceanBase能征服OLTP生产级挑战?

环境准备与基础配置

核心功能配置与优化

典型场景应用指南

运维与监控

OceanBase 共享存储使用步骤

ASCII字符示意图

整体布局(分层结构)


探会——第三届 OceanBase 开发者大会

2025年5月17日,第三届 OceanBase 开发者大会在广州州顺利举办。作为国内领先的原生分布式数据库解决方案提供者,OceanBase 本届大会以“数聚生态,智算未来”为主题,吸引了来自全国各地的数据库专家、开发者及生态合作伙伴齐聚一堂,共同探讨分布式数据库领域的最新技术演进与应用实践。

重磅发布:OceanBase 4.3

本次大会最受瞩目的焦点之一是 OceanBase 4.3 的正式发布。新版本在原有架构基础上实现了关键性能提升,支持更加复杂的多活部署场景,并大幅优化了存储引擎性能,进一步降低读写延迟。同时,在兼容性方面也向 Oracle、MySQL 更进一步,助力企业更加平滑地迁移和使用。

OceanBase 技术负责人表示,4.3 版本引入了更智能的资源调度机制与弹性算力架构,使得 OceanBase 在应对金融、政务等对一致性与高可用性有极高要求的场景中更为稳定与高效。

开发者生态全面升级

大会设置了多个技术专场,覆盖 数据库内核优化SQL引擎调优运维监控体系多云部署实践 等议题。在“内核与架构专场”中,OceanBase 团队分享了有关 LSM Tree 引擎优化、写放大控制、分布式事务一致性协议等前沿技术。

此外,OceanBase 官方宣布了 开源社区生态激励计划升级,鼓励更多开发者参与到代码贡献、文档完善、插件开发中来。目前 OceanBase GitHub Star 数已突破 2 万,社区活跃度持续攀升,形成了更具凝聚力的开发者生态圈。

实战演讲:用户案例与行业落地

除了官方演讲等企业的技术专家也登台分享了 OceanBase 在各自业务中的落地经验。例如,在面对“双十一”亿级交易高并发场景时,OceanBase 通过弹性扩容和全局一致性保障,实现了毫秒级响应与零故障稳定运行,为电商业务保驾护航。

这些用户故事不仅验证了 OceanBase 的技术实力,也为其他企业提供了宝贵的参考范例。

第三届 OceanBase 开发者大会是一场技术与生态的双重盛会。从 4.3 版本的发布,到开源生态的深化,再到实践案例的展示,OceanBase 向业界展示了它作为国产数据库中坚力量的技术演进路径与未来愿景。

在“智算未来”的浪潮下,OceanBase 将继续深化分布式数据库底层能力的打磨,推动更多企业实现自主可控的数据基础设施建设,赋能数字中国的加速发展。

第三届 OceanBase 开发者大会,既是一场技术深耕的展示,也是一场生态共建的盛会。从 4.3 版本的功能跃迁,到 开源生态的全方位升级,再到 实际行业用户的成功落地案例,OceanBase 展现出其作为国产数据库中坚力量的技术进化路径与产业影响力。

站在“智算未来”的时代交汇点,OceanBase 将持续推进分布式数据库底层能力的打磨,深化计算与存储解耦、智能调度、跨云部署等核心能力,赋能企业实现 真正的云原生架构升级,并在自主可控的数字基础设施建设进程中发挥更大作用。

OceanBase 共享存储架构解析

什么是共享存储架构?

传统 OceanBase 采用的是“本地盘 + 多副本”的 Share-Nothing 架构:每个副本节点持有自己独立的存储和计算资源。虽然具备强一致性和高可用性,但也存在 数据复制开销大、写放大严重、资源利用率偏低 等问题。

OceanBase 共享存储架构引入了 计算与存储分离 的理念,多个计算节点可以访问同一个后端存储。其关键特征包括:多租户共享统一存储池,持久化数据只保存一份,副本间元数据分离,数据共享,支持即开即用,秒级弹性扩容。

这一转变实现了从 Share-Nothing 向 Share-Disk/Share-Storage 的跨越,尤其适用于资源紧张或高密度部署场景。

云原生数据库的架构

在云计算时代,对象存储凭借高可靠性、低成本、无限扩展的优势,已成为海量数据存储的核心方案,但其在事务型数据库(TP)领域的应用长期受限。传统TP数据库普遍采用Shared-Nothing架构,依赖本地磁盘或云盘保障低延迟与高并发性能,却也带来扩缩容低效、存储冗余度高、成本压力大等问题。

OceanBase作为原生分布式数据库的领军者,以存算解耦为核心突破,推出业内首个面向OLTP场景的共享存储产品。通过将计算层与存储层分离,OceanBase首次实现事务型数据库与对象存储(如Amazon S3、阿里云OSS等)的深度融合,在保持强一致性、毫秒级响应的同时,将TP场景的存储成本降低50%,AP场景成本甚至可降至原方案的1/10。

性能、弹性与多云的统一

极致性价比:性能无损,成本减半
通过“对象存储+多级缓存”架构,OceanBase将全量数据落地于低成本对象存储,仅需单副本即可保障跨可用区的高可用性;热数据通过本地SSD缓存实现快速访问,冷数据自动下沉至对象存储,存储成本直降50%。

Serverless弹性:计算与存储独立扩展
支持计算节点秒级扩缩容,存储层容量无限扩展。结合Spot实例技术,计算资源成本最高可降低70%,实现“存储不动、计算随需”的云原生体验。

多云原生:打破云厂商锁定
全面兼容Amazon S3、阿里云OSS等主流对象存储协议,覆盖阿里云、华为云、AWS等六大公有云平台,全球超100个可用区,为企业提供跨云、混合云的统一数据底座。

为何OceanBase能征服OLTP生产级挑战?

对象存储的高延迟与低IOPS特性曾是其适配OLTP场景的“死穴”,OceanBase通过四项核心技术实现破局:

多级缓存架构:

内存缓存:承载最热数据,保障毫秒级响应;

本地持久化缓存+分布式缓存:通过预读预热、节点间同步机制,弥补对象存储访问延迟;

对象存储:作为无限容量的冷数据底座。

自研LSM-Tree引擎:
针对对象存储“只追加、不修改”的特性,优化写入路径,聚合小I/O为顺序大块写入,降低写放大与存储压力,提升IOPS效率。

动态弹性缓存:
本地缓存空间随负载自动扩缩,智能识别热点数据,避免资源浪费,应对业务流量波动。

全链路优化:
从I/O调度、预取策略到跨可用区同步机制,全面压低延迟波动,确保TP业务稳定性。

环境准备与基础配置

云平台接入
OceanBase 共享存储已支持阿里云、华为云、腾讯云、百度云、AWS、Google Cloud 六大公有云平台,覆盖全球超 100 个可用区。用户需在目标云平台创建 OceanBase 实例,并绑定兼容 S3 协议的对象存储服务(如 Amazon S3、阿里云 OSS)作为持久化存储层。

存储与计算资源规划

存储层:将全量数据落地至对象存储,仅需单副本即可保障跨可用区高可用性。

计算层:按需分配计算节点,支持秒级弹性扩缩容,结合 Spot 实例可节省最高 70% 计算成本。

核心功能配置与优化

多级缓存架构设置

内存缓存:自动缓存最热数据(如近 30 天订单),保障毫秒级响应。

本地持久化缓存:将高频访问数据缓存在本地 SSD,通过预读预热机制减少对象存储访问延迟。

分布式缓存:支持节点间数据同步,确保容灾恢复能力。

冷热数据分层策略

自动识别冷热数据(如淘宝订单场景中,近 30 天为热数据,历史数据为冷数据),热数据缓存在本地,冷数据自动下沉至对象存储。

配置示例:通过 SQL 或管理控制台设置数据生命周期策略,例如按时间阈值(如 30 天)自动迁移冷数据。

LSM-Tree 引擎优化

写入优化:聚合小 I/O 为顺序大块写入,适配对象存储“只追加、不修改”特性,降低写放大。

异步落盘:通过后台任务处理 Compaction、备份等重 I/O 操作,减少对实时事务的影响。

典型场景应用指南

核心 TP 与历史库

场景示例:电商订单系统将全量数据存入对象存储,仅缓存近期热数据,存储成本降低 50%,历史数据查询仍保持秒级响应。

操作步骤:

创建历史表并设置冷热分离策略。

通过 OceanBase 控制台配置自动缓存规则,指定热数据保留周期。

时序数据(IoT/智能制造)

场景示例:智能设备监控数据写入频繁,短期查询为主,长期存储成本需优化。

配置方法:

启用自动冷热识别,将超过指定时间(如 7 天)的数据标记为冷数据。

结合分布式缓存提升写入吞吐量。

HBase 兼容与流水型业务

迁移方案:将 HBase 冷数据迁移至 OceanBase 共享存储,保留强一致性事务能力,存储成本降至原方案的 1/10。

流水型数据管理:

配置流水表按时间分区,自动归档旧分区至对象存储。

使用 Serverless 计算节点按需处理高频写入。

运维与监控

弹性伸缩管理

计算层:通过控制台或 API 动态调整计算节点数量,支持业务高峰期的资源弹性。

缓存层:启用持久化缓存弹性伸缩功能,本地缓存空间随负载自动扩缩。

全链路监控

通过 OceanBase 内置监控工具,实时跟踪对象存储访问延迟、缓存命中率及 I/O 压力。

设置告警阈值(如延迟超过 10ms),及时
优化缓存策略或调整资源分配。

OceanBase 共享存储使用步骤

1、环境准备

支持平台:阿里云、AWS、华为云等(需开通对象存储服务,如 OSS/S3)
操作:获取对象存储的 Access Key 和 Bucket 名称

在 OceanBase 控制台创建 共享存储卷,绑定对象存储地址

2、 创建数据库与表

示例:电商订单表(自动冷热分离)

-- 创建数据库
CREATE DATABASE orders_db 
  STORAGE_POLICY = 'HOT_COLD';  -- 启用冷热分层策略

-- 创建订单表(按时间分区)
CREATE TABLE orders (
  order_id BIGINT PRIMARY KEY,
  order_time DATETIME,
  data JSON
) PARTITION BY RANGE(order_time) (
  PARTITION p_hot VALUES LESS THAN (CURRENT_DATE - INTERVAL 30 DAY),  -- 热数据分区
  PARTITION p_cold VALUES LESS THAN (MAXVALUE)                       -- 冷数据自动存对象存储
);

3、冷热数据管理

自动策略:

数据写入时自动按分区规则分离(如超过30天的订单自动存对象存储)

手动迁移:

-- 将历史数据批量迁移至对象存储
ALTER TABLE orders MOVE PARTITION p_old TO STORAGE 'S3';

4、弹性与监控

计算节点扩容:

# 从2节点扩展到4节点(10秒完成)
obd cluster scale-out ob_shared --servers=2

查看存储状态:

-- 查看冷热数据分布
SELECT partition_name, storage_type, total_size 
FROM information_schema.table_storage 
WHERE table_name = 'orders';

-- 监控缓存命中率
SHOW STATUS LIKE 'cache_hit_ratio%';

5、注意

首次使用建议开启 自动缓存伸缩SET GLOBAL auto_cache_scaling=ON;

高频写入场景可调整 I/O块大小SET GLOBAL s3_block_size='64MB';

免费工具:OceanBase 冷热迁移助手

ASCII字符示意图
+-------------------+       +-------------------+
|   计算节点集群     |       |   计算节点集群     |
|  (无状态,弹性伸缩) | <--> |  (秒级扩容/释放)   |
+-------------------+       +-------------------+
            ↓
+--------------------------------+
|        多级缓存层              |
|  ----------------------------  |
|  [内存缓存]🔥热数据(毫秒级)     |
|  [本地SSD]⚡高频访问数据        |
|  [分布式缓存]🌐节点间同步       |
+--------------------------------+
            ↓
+--------------------------------+
|      共享对象存储              |
|  (S3/OSS,单副本跨AZ)          |
|  ▼ 存储成本降低50%             |
+--------------------------------+
整体布局(分层结构)
+------------------------------+
|         计算层               |
|  [无状态节点集群]             |
|  - 支持秒级扩缩容             |
|  - Spot实例节省70%成本        |
+--------------|---------------+
               ↓
+------------------------------+
|         多级缓存层            |
|  +---------+ +---------+     |
|  | 内存缓存 | | 本地SSD |     | ← 热数据(自动缓存)
|  +---------+ +---------+     |
|  +---------------------+     |
|  |   分布式缓存集群     |     | ← 跨节点同步
|  +---------------------+     |
+--------------|---------------+
               ↓
+------------------------------+
|         共享存储层            |
|  [对象存储 S3/OSS]            |
|  - 单副本跨AZ高可用           |
|  - 存储成本降低50%            |
+------------------------------+

    本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2384430.html

    如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

    相关文章

    安卓新建项目时,Gradle下载慢下载如何用国内的镜像

    方法 1&#xff1a;修改 gradle-wrapper.properties 使用国内镜像 Gradle 的下载地址可以在 gradle-wrapper.properties 中修改&#xff0c;替换为国内镜像地址&#xff08;如阿里云、腾讯云等&#xff09;。 步骤 打开项目中的 gradle-wrapper.properties 文件&#xff08;路…

    讯联文库开发日志(五)登录拦截校验

    零 在此之前&#xff0c;由于主播一直缺乏session&#xff0c;这次两个小时的寻找bug之旅也让我受益颇多 罪魁祸首&#xff1a;key值写错了&#xff0c;导致一直报错&#xff0c;不过这也让我了解了更多关于session的k-v结构 参数校验 我们需要在全局拦截器注解里面加两个方…

    PCB设计教程【入门篇】——电路分析基础-读懂原理图

    前言 本教程基于B站Expert电子实验室的PCB设计教学的整理&#xff0c;为个人学习记录&#xff0c;旨在帮助PCB设计新手入门。所有内容仅作学习交流使用&#xff0c;无任何商业目的。若涉及侵权&#xff0c;请随时联系&#xff0c;将会立即处理 目录 前言 一、原理图核心要素…

    C语言数据结构

    单链表 头文件&#xff1a;lin.h #ifndef __LINK_H__ #define __LINK_H__ #include <stdio.h> #include <stdlib.h> typedef int DataType; /*节点数据类型*/ typedef struct node { DataType data; //数据域 struct node *pNext; …

    精度再升级,可到微米!单位自动换算平米和米

    CAD图纸单位怎么看&#xff1f;精度怎么调&#xff1f; 长度测出来是什么单位&#xff1f; 面积一大串怎么回事&#xff1f; 坐标小数点位置不对怎么办&#xff1f; 点击直接获取CAD快速看图 首先说原理 CAD图纸在绘制时&#xff0c;一般情况下单位是&#xff1a; 长度---…

    常见算法题目2 - 给定一个字符串,找出其中最长的不重复子串

    算法题目2 - 给定一个字符串&#xff0c;找出其中最长的不重复子串 1. 问题描述 给定一个字符串&#xff0c;输出其最长的不重复子串&#xff0c;例如&#xff1a; String str "ababc"; 输出&#xff1a; abc以下根据两种搜索算法。 2. 算法解决 2.1 暴力循环法…

    如何配置jmeter做分布式压测

    问&#xff1a;为何需要做分布式 答&#xff1a;当我们本地机器jmeter进行压测时&#xff0c;单台JMeter机器通常无法稳定生成2000 QPS&#xff08;受限于CPU、内存、网络带宽&#xff09;&#xff0c;本地端口耗尽&#xff1a;操作系统可用的临时端口&#xff08;Ephemeral P…

    Django 中的 ORM 基础语法

    深入剖析 Django 中的 ORM 语法&#xff1a;从基础到实战进阶 在 Django 开发领域&#xff0c;ORM&#xff08;对象关系映射&#xff09;是开发者高效操作数据库的得力工具。它以简洁直观的 Python 代码&#xff0c;替代繁琐的 SQL 语句&#xff0c;极大提升了开发效率。本文将…

    【计算机网络】TCP如何保障传输可靠性_笔记

    文章目录 一、传输可靠性的6方面保障二、分段机制三、超时重传机制四、流量控制五、拥塞控制 提示&#xff1a;以下是本篇文章正文内容&#xff0c;下面案例可供参考 源网站 按TCP/IP 4层体系&#xff0c;TCP位于传输层&#xff0c;为应用层提供服务 一、传输可靠性的6方面保障…

    html主题切换小demo

    主题切换功能为网页和应用程序提供了多样化的视觉风格与使用体验。实现多主题切换的技术方案丰富多样&#xff0c;其中 CSS 变量和 JavaScript 样式控制是较为常见的实现方式。 以下是一个简洁的多主题切换示例&#xff0c;愿它能为您的编程之旅增添一份趣味。 代码展示 <…

    AI架构职责分配——支持AI模块的职责边界设计

    职责分配——支持AI模块的职责边界设计 在传统系统中&#xff0c;职责分配通常围绕“控制层处理逻辑、服务层执行业务、数据层持久化”进行划分。这种分工逻辑在纯业务系统中足以支撑高效协作与系统演进。然而&#xff0c;随着AI模块的引入&#xff0c;系统中新增了如模型推理…

    CARIS HIPS and SIPS 12.1是专业的多波束水深数据和声呐图像处理软件

    CARIS HIPS 和 SIPS 是一套综合水文处理软件&#xff0c;主要用于海洋水道处理和测量领域‌。该软件集成了测深、水柱和海底图像处理功能&#xff0c;能够提高业务处理的精确度和效率‌。 主要功能和应用场景 ‌测深数据处理‌&#xff1a;HIPS主要用于处理大型测深数据。 ‌…

    在 Ubuntu 24.04 LTS 上 Docker 部署 DB-GPT

    一、DB-GPT 简介 DB-GPT 是一个开源的AI原生数据应用开发框架(AI Native Data App Development framework with AWEL(Agentic Workflow Expression Language) and Agents)。目的是构建大模型领域的基础设施&#xff0c;通过开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及…

    Axure高保真CRM客户关系管理系统原型

    一套出色的CRM&#xff08;客户关系管理&#xff09;系统&#xff0c;无疑是企业管理者掌控客户动态、提升销售业绩的得力助手。今天&#xff0c;就为大家介绍一款精心打造的Axure高保真CRM客户关系管理系统原型模板&#xff0c;助你轻松开启高效客户管理之旅。 这款CRM原型模…

    自学嵌入式 day 23 - 数据结构 树状结构 哈希表

    一、树状结构 1.特征&#xff1a;在任意一个非空树中&#xff0c; &#xff08;1&#xff09;&#xff0c;有且仅有一个特定的根结点 &#xff08;2&#xff09;&#xff0c;当n>1 时&#xff0c;其余结点可分为m个互不相交的有限集合T1,T2,T3.。。。。Tm&…

    JavaScript进阶(十二)

    第三部分:JavaScript进阶 目录 第三部分:JavaScript进阶 十二、深浅拷贝 12.1 浅拷贝 12.2 深拷贝 1. 通过递归实现深拷贝 2. js库lodash里面cloneDeep内部实现了深拷贝 3. 通过JSON.stringify()实现 十三、异常处理 13.1 throw抛异常 13.2 try /catch捕获异常 1…

    中文域名25周年,取得哪些里程碑式的进展?

    二十五载中文域名路 第八届中文域名创新应用论坛在北京举办。与会领导专家回顾了中文域名发展历史&#xff0c;深入探讨了当下面临的机遇与挑战&#xff0c;并展望了未来的发展。 自2000年中国推出全球首个中文域名试验系统以来&#xff0c;中文域名已走过25年历程&#xff0c…

    应对进行性核上性麻痹,健康护理铸就温暖防线

    进行性核上性麻痹&#xff08;PSP&#xff09;是一种罕见的神经退行性疾病&#xff0c;主要影响患者的运动、平衡及吞咽等功能。针对这类患者&#xff0c;有效的健康护理对提升其生活质量、延缓病情发展至关重要。 在日常生活护理方面&#xff0c;由于患者存在平衡障碍和肌肉僵…

    python邮件地址检验 2024年信息素养大赛复赛/决赛真题 小学组/初中组 python编程挑战赛 真题详细解析

    python邮件地址检验 2024全国青少年信息素养大赛Python编程挑战赛复赛真题解析 博主推荐 所有考级比赛学习相关资料合集【推荐收藏】 1、Python比赛 信息素养大赛Python编程挑战赛 蓝桥杯python选拔赛真题详解 蓝桥杯python省赛真题详解 蓝桥杯python国赛真题详解 2、…

    CAD球体功能梯度材料3D插件

    插件介绍 CAD球体功能梯度材料3D插件可在AutoCAD内建立大小呈现梯度分布的球体及长方体孔隙三维模型。 功能梯度材料&#xff08;FGM&#xff09;模型包含大小梯度变化的球体及与之适配的长方体部件&#xff0c;可用于球体材料的梯度分布或梯度多孔结构材料建模。 插件支持…