从“数据孤岛”、Data Fabric(数据编织)谈逻辑数据平台

news2025/6/27 3:53:58

提到逻辑数据平台,其核心在于“逻辑”,与之相对的便是“物理”。在过去,为了更好地利用和管理数据,我们通常会选择搭建数据仓库和数据湖,将所有数据物理集中起来。但随着数据量、用数需求和用数人员的持续激增,数据架构的复杂度和组织架构的复杂度对物理集中的方式带来诸多挑战。

比如,如何确保企业中的每个人都能及时获取到正确的数据,以支持他们的业务决策。再比如,企业在搭建了湖仓之后,还需要将业务数据从业务数据库迁移到湖仓之中,但由于各种性能问题,就需要将数据进一步迁移到不同类型的数据集市,这就产生了多次不必要的数据复制、计算和存储,给企业形成巨大的成本压力。

同时,由于合规和组织结构的复杂性,企业实际上并不能将所有数据集中到单一的湖仓之中,“数据孤岛”广泛存在

也就是在这种背景下,逻辑数据平台开始兴起。

所谓逻辑数据平台,是一种通过数据虚拟化的技术手段,将企业多源异构数据进行逻辑层面的统一整合,形成物理分散但逻辑统一的虚拟数仓,它允许用户在不搬迁原始数据的前提下,实现多源异构数据的集成整合,并通过逻辑视图提供统一的数据服务,以及统一的数据访问控制,实现高效、轻松、灵活地访问、查询和操作数据,以便更好地支持业务决策。

逻辑数据平台兴起的背后,离不开 Data Fabric(数据编织)这一全新的数据管理理念的支撑。Gartner 将其列为“2021 年十大数据和分析技术趋势”之一,其核心理念在于通过数据虚拟化的技术手段,实现数据逻辑上的集中管理。

在 Aloudata 看来,Data Fabric(数据编织)的关键在于优化跨源异构数据的发现与访问,实现数据的灵活且业务可理解的交付,在于连接数据而非集中数据,强调自助服务而非专家服务,以及主动智能而非被动人工操作。

Data Fabric(数据编织)架构通过集成数据管理功能,并运用 AI 能力进行语义探索、分析和推荐,将被动的数据治理策略转变为主动的数据治理策略。这样的转变不仅加快了数据价值实现的速度,还提高了业务适应性、数据洞察的敏捷性,有效消除了数据孤岛,降低了成本和风险,增强了业务协作和数据安全。

作为国内 Data Fabric(数据编织)架构理念的实践者和引领者,Aloudata 基于在 EB 级别数据管理领域的深厚经验,开创性地提出“NoETL”这一创新思想,与 Data Fabric(数据编织)的核心理念与技术实现高度一致,旨在消除传统的基于人工 ETL 的数据管理瓶颈,实现数据管理高度自动化,更加高效地完成数据交付和使用。

在此基础上,Aloudata 打造了 Aloudata AIR 逻辑数据平台,通过自研的数据虚拟化技术,以及查询下推和查询加速功能,帮助用户轻松实现全域数据的逻辑连接、快速访问和查询,并能够根据业务分析需求,进行跨数据源的数据整合,以及灵活开展数据分析和应用工作。

  • 多源异构的数据融合:支持 50 种不同的数据连接方式,包括传统数据库、数据湖、数据仓库、各类 API 服务和应用,以及非同步数据和用户本地数据。这使得连接全域各类数据并进行快速分析变得异常简单。
  • 逻辑化数据整合:不需要关注底层技术细节,可以通过 SQL 语言去表达和定义需求,或通过拖拽式界面来实现数据准备;支持跨源、多级逻辑视图定义,大大简化了各种复杂场景下的数据整合工作。
  • 自适应数据加速:内置的 MPP 引擎可用于提高某些高性能场景的数据源查询性能。此外,自适应物化加速和智能下推功能,确保在大规模数据量下依然能实现秒级的交互式响应速度。
  • 集中数据治理与控制:管理人员可以在 Aloudata AIR 中集中设置安全和合规的访问策略,包括细致的访问控制和对敏感数据的动态脱敏处理,确保数据的安全性。
  • 统一的数据资产目录:提供统一的数据资产目录,它不仅有技术语言描述,还包括符合业务语言的描述。用户可以使用自然语言轻松找到所需数据,甚至系统会根据用户角色和需求主动推荐相关数据。
  • 标准开放的数据服务:找到所需数据后,可以通过标准化的数据服务将这些数据连接到各种工具上,无论是用于可视化分析的工具,还是更高级的数据科学或 AI 工具,都可以在自己熟悉和喜爱的环境中进行工作。

目前,Aloudata AIR 逻辑数据平台已在多个极高复杂度的数据生产和消费环境中落地应用,帮助招商银行构建了统一的敏捷数据使用平台,使业务团队不再四处寻找所需数据,在一个地方即可统一查找和理解数据,并通过逻辑视图定义和自动化编排,更轻松地处理和准备数据,目前每月由业务团队自助生成的数据已占总数据的 70% 以上,ETL 压力显著降低。同时,动态集成和自动化编排减少了不必要的数据复制、计算和存储,至少节约了 50% 以上的存算成本。

如果您最近正关注“逻辑数据平台”,或者计划考虑通过统一数据服务平面屏蔽底层引擎的差异性,提升业务用数效率,不妨先了解下 Aloudata AIR 逻辑数据平台,或许能为您带来新的思路。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1822679.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

细说ARM MCU的串口发送数据的实现过程

目录 1、条件及工程配置 2、实现串口发送的库函数 3、修改whlie(1)中的代码 4、修改回调函数 5、下载运行 前面的文章介绍了用串口的接收中断来接收数据,本文介绍通过串口从MCU向外发送数据。 1、条件及工程配置 文章依赖的硬件及工程配置同本文作者的其他文…

vscode插件开发之 - menu配置

上一遍博客介绍了如何从0到1搭建vscode插件开发的base code,这遍博客将重点介绍如何配置menu。通常,开发一款插件,会将插件显示在VSCode 左侧的活动栏(Activity Bar),那么如何配置让插件显示在Activity Bar…

利用Morph Studio平台免费生成AI视频教程和效果体验

今天体验一下生成AI视频平台,目前是免费的,但生成效果还是不错的,可以根据输入文字,或者上传图片,或者上传视频来自动生成视频。 访问官网,登录之后点击“create Library” ,比如我建了一个“AI视频”的Li…

探索JavaScript逆向工程与风控等级

探索JavaScript逆向工程与风控等级 在当今的网络安全领域,JavaScript逆向工程(简称JS逆向)已成为许多开发者和安全专家关注的焦点。JS逆向主要涉及对JavaScript代码的分析与理解,以发现其内部逻辑、数据流及潜在漏洞。这种技术常用…

代码随想录算法训练营第36期DAY58

DAY58 今天的主题是:编辑距离。在字符串进行增删字符的操作。 392判断子序列,简单 首先想到快慢双指针: 通过了,很好: class Solution {public: bool isSubsequence(string s, string t) { int slow0; …

红酒保存中的氧气管理:适度接触与避免过度氧化

在保存云仓酒庄雷盛红酒的过程中,我们不得不面对一个微妙的问题:氧气管理。氧气,这个我们生活中无处不在的气体,对于红酒的保存却有着至关重要的影响。适度接触氧气对红酒的陈年过程和品质维护具有积极作用,然而过度氧…

修改eclipse ide的类及console的字体

查看了一下,这个类的字体看的很不爽,下面的是设置好的界面: Window -- Preferences--General--Appearance--Basic--Text Font Debug -- Console Font 经过以上的设置,就可以了。

java面试整合全套

什么是Java (定义 优点) java是一个平台,由jvm和Java应用编程接口构成的一门面向编程语言。 不仅吸收了C语言的各种优点,还摒弃了c语言里面的多继承,指针等概念,因此java的特征主要有功能强大和简单易用的特征。 jav…

【2.4GHz数据通信芯片解读】:Ci24R1与Si24R1有何不同?

开头我想先跟大家聊聊对2.4GHz无线射频芯片的看法,其中关于2.4GHz有源在整个物联网应用中是感知层无法或缺的一环,尤其是在一些无法通电的场所,可以为相对应的物联网方案赋能。 而在2.4GHz数据通信芯片里面,Ci24R1与Si24R1都具备收…

如何查找您的 SOLIDWORKS 序列号或许可证密钥

每个 SOLIDWORKS正版的软件都有自己的许可密钥,也称之为SOLIDWOKS的序列号。硕迪科技作为SOLIDKS正版软件代理商,我们的技术团队经常帮助客户查找他们的序列号。这篇文章将向您展示如何查找您的 SOLIDWORKS 序列号。 如果您拥有独立的 SOLIDWORKS 许可&…

使用QT制作QQ登录界面

mywidget.cpp #include "mywidget.h"Mywidget::Mywidget(QWidget *parent): QWidget(parent) {/********制作一个QQ登录界面*********************/this->resize(535,415);//设置登录窗口大小this->setFixedSize(535,415);//固定窗口大小this->setWindowTi…

【数据库设计】宠物商店管理系统

目录 🌊1 问题的提出 🌊2 需求分析 🌍2.1 系统目的 🌍2.2 用户需求 🌻2.2.1 我国宠物行业作为新兴市场,潜力巨大 🌻2.2.2 我国宠物产品消费规模逐年增大 🌻2.2.3 我国宠物主选…

本地Zabbix开源监控系统安装内网穿透实现远程访问详细教程

文章目录 前言1. Linux 局域网访问Zabbix2. Linux 安装cpolar3. 配置Zabbix公网访问地址4. 公网远程访问Zabbix5. 固定Zabbix公网地址 💡推荐 前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。【…

用正弦函数实现跳跃弧线

1,想法来源 在游戏中,需要实现一个跳跃的功能,我最开始用的是重力加速度。即水平速度不变,垂直速度加等于重力,但策划觉得不好调。 最后决定使用固定的曲线函数实现,即X轴速度不变,Y轴按照距离…

14.shell awk数组

awk数组 awk数组awk数组示例Nginx日志分析 awk数组 1.什么是awk数组 数组其实也算是变量,传统的变量只能存储一个值,但数组可以存储多个值 2.awk数组应用场景 通常用来统计、比如:统计网站访问TOP10、网站url访问TOP10等等 3.awk数组统计技巧 1.在awk中,使用数组时,不仅可以…

EE trade:黄金期货交易指令有哪些

在黄金期货交易中,投资者常用的交易指令主要包括以下几种,每种指令都有其特殊用途和优势: 市价单(Market Order) 直接按市场当前价格买入或卖出合约。 适用于追求立即成交,不关注价格变动的情况。 限价单(Limit Order) 设定一…

DiskMirror 简化文件IO的开发 的有效手段!

DiskMirror 用于进行磁盘文件管理的一面镜子,其包含许多的适配器,能够将任何类型的文件数据流中的数据接入到管理中,并将保存之后的 url 返回,支持不同文件所属空间的管控,您还可以通过此API 获取到指定 userid 下面的…

AI写真教程:Stable Diffusion 之 IPAdapter-FaceId

自Stable Diffusion发布以来,AI写真一直是AIGC界的热门话题。 AI写真为摄影师和艺术家提供了全新的创作工具。通过AI技术,艺术家可以轻松实现复杂的图像效果,如风格迁移、图像合成等,AI写真能够在短时间内完成传统摄影师和设计师…

express+vue在线im实现【一】

在线体验地址 需要用邮箱注册一个账号 在线链接 目前实现的功能 1、在线聊天(群聊) 2、实时监控成员状态 3、历史聊天,下拉加载 4、有新消息,自动滚动到最新消息,如果自己在查看历史记录,不会强行滚动 后续计划新增功能 感兴…

ERP管理系统解决方案(附ERP流程和详细解决方法)

ERP 是专门为制造企业设计的综合性管理解决方案,旨在优化制造业务流程,整合各个部门和环节,实现生产、供应链、质量控制和销售等方面的高效协同。 传统的制造行业会面临哪些业务痛点,会考虑erp解决方案: 生产成本高昂…