浅谈数据管理架构 Data Fabric(数据编织)及其关键特征、落地应用

news2025/6/26 11:24:36

伴随着企业从数字化转型迈向更先进的数智化运营新阶段,对看数、用数的依赖越来越强,但数据的海量增长给数据管理带来一系列难题,如数据类型和加工链路日益复杂,数据存储和计算引擎更加分散,数据需求响应与数据质量、数据安全风险难以兼顾,数据流通过程中的合规性冲突,以及混合多云环境下的“数据孤岛”等。

简言之,进入数智化时代,企业数据管理正变得异常复杂和艰难,传统的数据管理架构往往依赖于单一、物理集中的数据仓库系统,这种架构体系已经很难适应企业发展需求。在此背景下,Data Fabric(数据编织)这一全新数据管理架构理念应运而生。

Data Fabric(数据编织)最早由 Forrester 的分析师 Noel Yuhanna 提出,Forrester 认为 Data Fabric(数据编织) “提供了一个统一的、集成的、智能的端到端的数据平台,以支持新出现的需求场景”。同样的,Data Fabric(数据编织)也获得 Gartner 高度认同,分别出现在 2019 年和 2021 年 Gartner 的十大数据分析技术趋势里,以及 2022 年 Gartner 的十大战略技术趋势里。

Gartner 将 Data Fabric 定义为“一种新兴的数据管理设计理念,用于实现灵活、可重用、增强的数据管道、数据语义和数据服务,需要利用主动元数据、知识图谱、数据语义和人工智能等来实现跨异构数据源的增强数据集成、编织和共享。”

Gartner 还强调,Data Fabric(数据编织)的真正价值在于它能够通过内置的分析技术动态改进数据的使用,同时通过将自动化能力添加到整个数据管理中,使数据管理工作量减少 70% 并加快价值实现速度。由此可见,Data Fabric(数据编织)并不是一种技术,也不是一种产品,而是一种全新的数据管理架构理念,它的主要目标是通过其内置分析能力,来动态改善数据的使用,打破企业内部的“数据孤岛”,最大化释放数据价值。

作为国内 Data Fabric(数据编织)架构理念的实践者和引领者,Aloudata 大应科技认为其关键特征包含以下几点:

  • 连接数据,而非集中数据:通过数据虚拟化引擎,可以对外屏蔽数据源的位置和格式,无需数据搬运,实现多源异构、跨云、跨组织的数据集成。
  • 语义建模,而非物理建模:数据集成是逻辑集成(Connect)而非物理集成(Collect),因此在数据建模、转换和准备上,也是基于数据语义的逻辑建模、转换和准备,最终交付的是逻辑数据集,而非物理表。
  • 动态编排,而非人工编排:基于语义的逻辑数据集成和处理,逻辑数据链路会动态编织和自动化执行,而不是依赖 ETL 人工编排,提升计算查询性能,降低计算存储成本,实现“按需计算”。
  • 统一访问,而非多点访问:数据虚拟化可以更大范围地整合数据,打破原有物理集成架构下难以形成单中心的限制,形成统一的数据访问入口,而不是以不同的数据存储或查询引擎为中心形成各自的访问入口。
  • 自助服务,而非专家服务:基于数据虚拟化引擎和数据语义引擎,以及背后的动态编织能力,可以破解现有 “ETL 驱动的集中式数据工程架构下,数据工程团队成为影响数智化运营效率的最大瓶颈”这一问题,让业务分析师和业务人员实现自助服务。
  • 主动治理,而非被动治理:Data Fabric 强调数据治理应更主动和智能,即基于主动元数据构建智能治理能力,融入到数据全生命周期的每个环节里去,实现主动、智能的数据治理。

那么,企业该如何落地 Data Fabric(数据编织)架构呢?Aloudata 结合自身在 EB 级数据管理领域中深厚的实践经历,在业内首倡“NoETL”架构理念,推出了全新的“NoETL”驱动的 Data Fabric 数据架构,并以此为基础,自研了 Aloudata AIR 逻辑数据平台,帮助企业通过零数据搬运,即可轻松实现全域数据的集成整合和自适应加速。

Aloudata AIR 逻辑数据平台采用数据虚拟化技术构建,能够帮助企业无需移动数据、无需关注数据任务运维、无需担心查询性能,就可以实现多源异构数据的逻辑连接与整合,并通过全局数据目录和统一数据服务为下游用户与应用提供统一的数据发现与访问入口,解决由“数据孤岛”带来的全局数据查找难、跨源联邦查询难和集中安全治理等问题。

同时,Aloudata AIR 逻辑数据平台通过 AI 增强的自适应加速技术,实现自动物化链路编排和智能查询下推,让用户无需担心虚拟化带来的大数据量查询性能问题,实现全域数据要素更低成本、更实时地流通与消费。

目前,Aloudata AIR 逻辑数据平台已在包括招商银行在内的多个头部企业生产场景中落地验证,实现了数据的统一访问和管理,显著提升了业务效率和数据管理的灵活性,同时大幅降低存算成本。点击了解更多。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1822818.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【电机控制】FOC算法验证步骤——PWM、ADC

【电机控制】FOC算法验证步骤 文章目录 前言一、PWM——不接电机1、PWMA-H-50%2、PWMB-H-25%3、PWMC-H-0%4、PWMA-L-50%5、PWMB-L-75%6、PWMC-L-100% 二、ADC——不接电机1.电流零点稳定性、ADC读取的OFFSET2.电流钳准备3.运放电路分析1.电路OFFSET2.AOP3.采样电路的采样值范围…

kubespray离线安装k8s

kubespray离线安装k8s 系统环境 OS: Static hostname: test Icon name: computer-vm Chassis: vm Machine ID: 22349ac6f9ba406293d0541bcba7c05d Boot ID: 83bb7e5dbf27453c94ff9f1fe88d5f02 Virtualization: vmware Operating System: Ubuntu 22.04.4 LTS Kernel: Linux 5.…

哪个牌子的开放式耳机性价比高呢?五大口碑销量双佳产品汇总!

​喜欢户外活动的朋友们,你们都是懂得享受生活的达人吧!想象一下,在户外活动时,如果能有一副既适合场景又提供超棒音乐体验的耳机,那该多完美啊!这时候,开放式耳机就闪亮登场了!它的…

JAVAEE值之网络原理(1)_用户数据报协议(UDP)、概念、特点、结构、代码实例

前言 在前两节中我们介绍了UDP数据报套接字编程,但是并没有对UDP进行详细介绍,本节中我们将会详细介绍传输层中的UDP协议。 一、什么是UDP? UDP工作在传输层,用于程序之间传输数据的。数据一般包含:文件类型&#xff0…

SpringCloud2023 - 学习笔记

文章目录 1. 简介1.1 基础知识1.2 组件更替与升级 2. 微服务基础项目构建2.1 创建项目2.2 Mapper4生成代码2.3 支付模块编码2.4 项目完善2.5 订单模块编码2.6 工程重构 3. consul服务注册与发现3.1 consul简介3.2 consul下载安装3.3 微服务入驻3.4 order订单微服务入驻3.5 其他…

美摄科技匿名化处理解决方案,包含模糊、同色、马赛克、效果遮挡等各种形式

信息安全已成为企业发展中不可忽视的重要一环,随着信息安全法规的日益严格和公众对个人隐私保护意识的不断提高,企业如何在保障业务顺畅进行的同时,满足信息安全和隐私保护的要求,成为了亟待解决的问题。美摄科技凭借其强大的技术…

手把手搭建 Nginx + VIP + Keepalived 高可用集群

文章目录 1、前置讲解1.1、常用方案1.2、实现流程 2、集群搭建2.1、环境准备2.2、关于 Nginx2.2.1、安装 Nginx2.2.2、调整 Nginx 首页 2.3、关于 Keepalived2.3.1、安装 Keepalived2.3.2、编写 Shell2.3.3、调整 KeepAlived 配置 1、前置讲解 其实阿里云ECS本身不支持使用服务…

Kubernetes集群持久化部署实践

WordPress 网站持久化部署 要持久化MariaDB 可以把 Deployment 改成了 StatefulSet,修改 YAML添加“serviceName”“volumeClaimTemplates”这两个字段,定义网络标识和 NFS 动态存储卷,然后在容器部分用“volumeMounts”挂载到容器里的数据目…

一文搞懂阻塞赋值和非阻塞赋值

目录 2.非阻塞赋值举例3.阻塞赋值举例4.总结 微信公众号获取更多FPGA相关源码: # 1.阻塞赋值和非阻塞赋值的区别: (1)阻塞赋值"",必须是阻塞赋值完成后,才进行下一条语句的执行;赋值一旦完成,等号…

docker环境中配置phpstorm php xdebug调试工具

本文介绍通过docker compose的使用方式 第一步:在php镜像中安装phpxdebug扩展,比如php7.4对应的是xdebug3.1.6 第二步:设置项目中的docker-compose.yml docker-compose 增加开启xdebug的环境变量,host.docker.internal是宿主机的地址&#…

MBTI:探索你的性格类型

人不走空 🌈个人主页:人不走空 💖系列专栏:算法专题 ⏰诗词歌赋:斯是陋室,惟吾德馨 目录 🌈个人主页:人不走空 💖系列专栏:算法专题 ⏰诗词歌…

4.音视频 AAC SSAASS

目录 AAC 1.什么是ADIF和ADTS? 2.ADTS的数据结构是怎样的? SSA/ASS 1.SSA/ASS的基本结构 AAC AAC(Advanced Audio Coding,高级音频编码)是一种声音数据的文件压缩格式。AAC分为ADIF和ADTS两种文件格式。 1.什么是ADIF和ADTS&#xff…

Day01 C语言嵌入式

目录 1、嵌入式知识体系 2、计算机的组成原理 3、计算机之父 4、C语言标准 5、关键字 6、字符编码 7、字符集 1、嵌入式知识体系 备注:图片来源于网络,为嵌入式知识体系思维导图,分为软件、硬件和理论知识三个部分,仅供各位…

【LeetCode】4,寻找两个正序数组中的中位数

题目地址 B站那个官方解答视频实在看不懂,我就根据他那个代码和自己的理解写一篇文章 1. 基本思路 在只有一个有序数组的时候,中位数把数组分割成两个部分。中位数的定义:中位数,又称中点数,中值。中位数是按顺序排列…

全志摄像头屏幕预览、录制(H264)

一、录像 使用dvr_test录制视频 运行dvr_test demo出现space not enought问题,修改/etc/dvrconfig.ini文件下对应的camera节点下cur_filedir属性无效 修改以下内容解决; 录制时出现摄像头画面异常,如下 摄像头型号与打印信息匹配: 但是出现画…

整蛊软件/插件使用方法与配置步骤~

今天出一期整蛊软件的使用方法与配置步骤 很多人在使用整蛊软件的时候 想自己添加更多的玩法内容 但是还不知道如何去配置 这期给大家出一下图文教程步骤 基本上也是软件的功能介绍使用方式~ 案例可扫码查看 第一步:打开软件输入卡密登录: 卡密费用&…

最好用的邮箱管理软件推荐,邮箱管理软件哪个好?(干货篇)

在快节奏的工作与生活中,有效管理电子邮件成为提升个人与团队效率的关键。 面对海量信息流,一款好的邮箱管理软件不仅能够帮助我们高效地整理收件箱,还能确保重要邮件不会错过,同时提升通讯的便捷性和安全性。 本文将为您推荐几款…

AUTOSAR平台中的信息安全标准模块

面向MCU端的AUTOSAR CP平台加密组件——Crypto ECU中所有的软件单元都遭受到信息安全攻击的可能。AUTOSAR为保障ECU信息和数据安全,定义了CRYPTO 组件,包含 SecOC、KeyM、IdsM、Csm、CryIf 和Crypto Driver 等标准模块。CRYPTO组件提供各种加解密算法以及密钥管理功…

另辟蹊径的终端防病毒

在数字时代的浪潮中,网络安全问题愈发凸显,防病毒成为了保护信息安全的重要一环。而白名单作为一种有效的安全策略,在防病毒方面发挥着不可或缺的作用。 首先,我们需要明确白名单的概念。白名单是一种管理和安全实践,用…

掌握这招,串口通信高频收发32W数据,0丢包!

我做过挺多串口通讯类的产品,有用485通讯的pdu,有wifi/4G/蓝牙通讯类的网关... 做串口的应用,把串口外设调通只是第一步,串口只是数据传输的媒介,在此基础上,两个设备/器件要进行通信,传递更有意…