对话交通银行:中国金融业数据仓库有哪些重要趋势?

news2025/5/18 1:01:38

数字经济时代,什么才是金融机构的核心竞争力?笔者访谈了交通银行软件开发中心总经理刘雷。刘雷指出:“数据和数据能力是金融机构发展的核心竞争力”。

当下,金融机构的数字化转型正迈入纵深阶段,使得两大核心诉求更加清晰:其一、通过数字化转型重塑核心竞争力,让营销、风控、管理等传统业务焕发生机,走向高效化;其二、利用数字化技术拓展新的业务领域,在商业模式上实现创新与突破。

无一例外,这两大核心诉求的基础都是数据。随着各大金融机构数据量持续爆炸性增长,新业务场景的井喷以及数据要素化的提速,也让金融行业数据分析平台核心--数据仓库逐步融入各种核心业务之中,其价值与作用愈发突出。

刘雷提到:“数据作为数字经济时代新的生产要素,要像土地、人力、资本、技术等其他要素那样,不断流动、交换和共享,进而推动经济社会发展。在这个过程中,一方面,要通过数据标准的制定,加强数据治理和数据管理能力,提高数据质量,提升数据生产服务能力;另一方面,利用多方安全计算、人工智能、大数据等技术建立跨平台、跨企业、跨领域的数据仓库体系,按照数据不出域、可触达的要求,实现数据的交换和共享。”

那么,中国金融业的数据仓库应用现状如何?中国金融机构在数据仓库上都遇到哪些新挑战?又会有哪些重要的新趋势?

近日,由金融信息化研究所联合交通银行在内的多家金融机构及华为云正式发布了《金融数据仓库发展报告(白皮书)》(以下简称:白皮书),从政策、全球、技术、历史五个维度综合分析我国金融数据库技术发展现状和问题,并提出了金融数据仓库七大关键技术和十大发展趋势,对于金融机构未来建设、升级优化数据仓库极具参考价值。

数据仓库应用现状如何

在众多行业中,金融行业是最早部署数据仓库的行业之一。

早在信息化时代,数据仓库在各大金融机构的业务中就发挥着关键作用;进入到数字化时代,数据驱动成为金融机构的转型目标,业务运营与创新均与数据息息相关。数据犹如金融机构的血液,流动到每个组织和业务之中,为其带来“养分”,数据仓库承载着数据的存储与分析,自然就成为金融机构数字化转型建设的刚需。

白皮书调研数据验证了这一现状:当前,银行、证券、保险等不同领域的金融机构普遍建设了数据仓库。其中,银行业建设数据仓库占比最高,除了区域性城商行尚有部分机构未建设之外,国有大行、股份制银行等均建设了数据仓库;而证券业和保险业建设数据仓库占比均接近90%。

具体来看,我国数据仓库产品在金融机构的占比正不断提升,尤其是在银行业的占比较高。白皮书的数据显示,国有大行基本都在使用我国数据仓库产品或采取自研数据仓库模式,占比高到83.33%;而股份制银行采用我国数据仓库产品的占比也高达66.67%。

另外一大现象是:金融机构的数据仓库数据规模差异较大。白皮书数据显示,拥有PB级规模数据仓库的金融机构占比达到15.96%,典型像国有大行和股份制银行等,近年来由于业务规模不断扩大,数据仓库的数据规模来也水涨船高;而数据量50TB以下的金融机构占比大约45.75%,像农商行、证券业、保险业等基本处于TB级别。

在投入方面,有86.75%的金融机构的数据仓库投入在所有数据库投入中的占比小于50%。从侧面反应出,很多金融机构的数据仓库建设未来依然有较大提升空间。

白皮书还对不同类型金融机构当前使用数据仓库痛点和使用诉求进行了调研。在痛点方面,国有大行因其海量数据,带来容量瓶颈问题;相对国有大行,其他金融机构数据治理体系还不完善,面临数据质量等系列问题。在使用诉求方面,不同类型金融机构也不尽相同,主要集中在T+0分析、数智融合、湖仓一体、存算分离以及数据共享等方面。

这些关键技术和趋势不容小觑

“未来的金融服务无处不在,就是不在银行网点。”--《Bank 4.0》一书对未来金融做出大胆预测。

真实情况恰如预测那样。如今,移动支付、电子货币、互联网保险、大数据征信、智能投顾、智能客服、云柜台等新金融业务正大量涌现,对于金融机构传统的网点、渠道、产品、流程产生了极大的冲击和改变,并且加速向金融业务中后端和全链条渗透,引发金融行业全业态变革。

交通银行软件开发中心总经理刘雷表示:“数据驱动如今是金融业重点关注方向。对于金融业而言,以数据为核心意味着:一、数据处理要快,实时计算的场景越来越多,大数据要求更高的算力;二、数据处理范围要广,除了金融机构内部结构化数据之外,需要整合更多复杂的数据来源,对于数据仓库等技术能力要求更高;三、数据需要共享,既打破金融机构各部门的数据壁垒,还避免数据重复加工;四、数据需要形成资产体系,让数据产生持续价值。”

新场景、新技术和新需求在驱动金融数据仓库加速变革。传统数据仓库软硬一体的封闭架构、高昂成本、实时处理能力不足等弱点不断凸显,不仅无法实现跨部门、跨系统、跨渠道、跨场景的数据共享与应用整合,让数据无法得到充分的挖掘与分析;更无力帮助金融机构构建起完善的数据资产体系。

“金融业数据仓库在经历了描述型数仓、探索型数仓、运营型数仓三个阶段之后,正在加速向智慧型数仓迈进,从仅支持批量报表服务,到支持数据探索、实时分析、数智融合,支撑业务长期演进和持续创新。”华为云EI服务产品部总经理尤鹏介绍道。

白皮书也指出,当前经过金融业的探索与实践,围绕分布式和云原生的架构主体,来构建数智融合的数据仓库成为大势所趋,具体包括七大关键技术:超大规模并行处理满足海量数据的算力、高可用及容灾技术实现数据永远在线、动态负载管理满足多样化负载统一管理、数据安全技术保障数据合规访问、融合分析技术打通结构化与非结构化数据分析边界、弹性扩展技术满足系统在线按需扩展和管控一体的智能运维释放运维压力。

例如,“人人用数”是当前很多金融行业重点践行的方向。以某大型股份制银行为例,其以“零售之王”著称于业内,超过2W名员工属于重度数据消费者,从全渠道获取、精准营销到客户精细化运营、风险控制,日常业务中时时刻刻都需要用到数据做决策。“人人用数”带来了各种海量并行操作,对于数据仓库的超大规模并行处理能力、弹性扩展能力和运维能力挑战极大。

事实上,白皮书还对全国百余家金融机构进行了充分调研,提出了金融行业数据仓库十大发展趋势,主要包括“融合”和“普惠”。“融合”主要有T+0分析、湖仓一体、数智融合、存算分离、高维分析、HTAP等;“普惠”则包括数据共享、数据网格(Data Mesh)、数据编织(Data Fabric)、现代数据栈(Modern Data Stack)等。

当前,金融机构数据量、数据类型和数据来源都远胜以往,并且数据分布在数据仓库或者数据湖之中,从而造成数据重复存储、数据管理与分析挑战巨大。因此,金融数据仓库很重要的一大趋势就是走向湖仓一体,湖仓之间互相配合、取长补短,帮助企业构建起统一元数据、数据管理和访问入口的数据平台,从而满足各种业务的用数需求。

“湖仓一体等技术目的是让数据和数据模型自由流转,真正让数据供给侧和使用侧的对接变得更加容易。”刘雷表示道。

又如,很多金融机构在智慧营销、智能风控、智能投研、OCR等业务场景中开始加大AI技术的应用,数据平台与AI平台的融合正在开启,形成能力互补。

刘雷认为,“数据仓库数据管理能力与AI平台流程会形成生命周期管理的结合。数据仓库将关系型的数据开放给AI,并作为AI流程中数据准备、特征工程等强数据处理负载的分析引擎;非结构化数据(如图像、视频、语音、文字)处理和模型训练由AI平台承载,训练生成的模型可直接部署在数据仓库中,由数据仓库来实现推理,并可以直接与数仓中关系型数据关联分析。”

再如,数据仓库也在加速走向“普惠”。“普惠”意味着使用门槛降低和广泛的使用人群,自然会带来灵活性与统一的难题。随着接入数据源越来越多和数据量越来越大,数据仓库等数据平台需要在统一元数据的基础上,采取更加灵活和敏捷的数据治理,推动了数据仓库向数据网格(Data Mesh)、数据编织(Data Fabric)等方向发展。

“金融行业业务场景本身也在走向普惠化、实时化和智慧化,数据规模每年保持了30%以上的增长的速度。因此,基于开放平台和云原生分布式架构的数据仓库,将是各大金融机构数据仓库演进的方向”尤鹏总结道。

白皮书对于金融数字化转型意义几何

《金融科技发展规划(2022—2025年)》明确提出要“激活金融数据要素潜能”、“加强数据能力建设”等内容。面向未来,构建强大的数据能力是所有中国金融机构一门必修课。

一直以来,中国金融机构在业务发展和科技能力上深受IBM、Oracle、Teradata为代表的国际顶级厂商所影响。近年来,在新场景、新需求和新技术等多重因素的交织下,产业变革加剧,很多中国金融机构热切期盼了解数据仓库未来建设方向、技术趋势以及产业现状。

众所周知,当前数据仓库的建设正在成为金融机构数字化转型的刚需,而与数据仓库相关的技术又处于爆发期,从数据治理、数据处理到数据分析、数据智能等技术纷繁众多,国内众多金融机构普遍存在一定程度的迷茫,对于产业现状和技术趋势了解不够,导致了产品选型时普遍遇到困难。

为此,白皮书从技术、历史等多个维度综合分析我国金融数据库技术发展,真正为国内金融机构结合自身情况构建面向未来的数据仓库提供了真知灼见。

其次,中国金融机构地域分布广泛、类型多样,导致不同金融机构在数据仓库、数据平台等方面建设情况千差万别,严重缺乏行业参考。例如,国有大行和股份制银行已经进行了多年的数据仓库建设,现在正加速向数智融合的智慧型数据仓库迈进,其很多实践经验和方法值得省联社、城商行了解与学习。

白皮书则通过国内上百家全行业金融机构的调研,提取了多家同业伙伴数据仓库建设情况和宝贵意见,通过典型案例形成行业参考,为不同类型的金融机构提供极具价值的参考。

第三,白皮书揭示了中国数据仓库产品的崛起,像华为云等公司的数据仓库产品在国有大行最为复杂、苛刻的场景中得到充分验证和考验,其实时分析、逻辑数仓、HTAP、湖仓一体和数智融合等一系列企业级关键特性也能够满足复杂金融场景的演进需求,为中国金融业的数据仓库建设和数字化转型带来了全新视角和思路。

总体来看,在新场景和新技术的双轮驱动下,数据仓库在金融业的应用正处于一个变革期。《金融数据仓库发展报告(白皮书)》很好地剖析了当前数据仓库在中国金融业的建设情况和未来发展趋势,对于中国金融业数字化转型大有裨益。面向未来,随着中国数字经济持续发展,中国金融业的数字化转型对于支持经济长远发展至关重要,数据仓库也必然会发挥更大的价值与作用。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/94161.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

SpringMVC学习:四、SpringMVC的高级开发(异常处理器、文件上传、 拦截器)

5. SpringMVC的高级开发 5.1 异常处理器 ​ springmvc在处理请求过程中出现异常信息交由异常处理器进行处理,自定义异常处理器可以实现一个系统的异常处理逻辑。 思路: ​ 系统中异常包括两类:预期异常和运行时异常RuntimeException,前者…

如何利用代理IP做SEO监控优化?

从事互联网营销相关的用户多多少少都会接触到SEO,一般来说企业为了实现传播效果,每天都需要大量重复地做各种渠道的投放,这是一项逐渐累积的长期性工作。而这其中关键的优化分析与监控,势必需要大量的数据支持。接下来就一起来了解…

Linux--seq命令

seq(sequeue)用于序列化输出一个数到另一个数之间的整数,输出连续的数字、 固件间隔的数字、指定格式的数字。 一、使用方法 seq [选项] 尾数seq [选项] 首数 尾数seq [选项] 首数 增量 尾数 [选项] -f, --formatFORMAT use printf style floating-point FO…

深度学习 Day22——利用LSTM实现火灾温度预测

深度学习 Day22——利用LSTM实现火灾温度预测 文章目录深度学习 Day22——利用LSTM实现火灾温度预测一、前言二、我的环境三、LSTM介绍1、长期依赖的问题2、LSTM3、LSTM结构四、前期工作1、设置GPU2、导入数据3、数据可视化五、构建数据集1、设置X、y2、设置归一化3、划分数据集…

[附源码]Nodejs计算机毕业设计基于的校园失物招领平台Express(程序+LW)

该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程。欢迎交流 项目运行 环境配置: Node.js Vscode Mysql5.7 HBuilderXNavicat11VueExpress。 项目技术: Express框架 Node.js Vue 等等组成,B/S模式 Vscode管理前后端分…

[附源码]Python计算机毕业设计高校学生综合素质测评系统Django(程序+LW)

该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程 项目运行 环境配置: Pychram社区版 python3.7.7 Mysql5.7 HBuilderXlist pipNavicat11Djangonodejs。 项目技术: django python Vue 等等组成,B/S模式 pychram管理等…

分析Linux 内核 SCSI IO 子系统

【推荐阅读】 浅析linux内核网络协议栈--linux bridge virtio-net 实现机制【一】(图文并茂) 怎么在Windows下使用Makefile文件 概述 LINUX 内核中 SCSI 子系统由 SCSI 上层,中间层和底层驱动模块 [1] 三部分组成,主要负责管…

PreSTU:一个专门为场景文本理解而设计的简单预训练模型

摘要:在视觉与语言(V&L)模型中,阅读和推理图像中的文本的能力往往是缺乏的。我们如何才能学习出强大的场景文本理解(STU)的V&L模型呢?本文分享自华为云社区《场景文本理解预训练PreSTU》…

C#编程基础(万字详解,这一篇就够了)

C#及其开发环境简介 C#概述 C#的编程功能 C#与.Net的关系 .Net C# C#的集成开发环境 Windows上编写C#程序 Linux/Mac OS上编写C#程序 运行第一个HelloWorld程序 C#基本语法 程序实例 C#基本语法 using关键字 class关键字 注释 成员变量 成员函数 实例化一个类…

【图像分割】粒子群优化指数熵图像分割【含Matlab源码 287期】

⛄一、图像分割简介 理论知识参考:【基础教程】基于matlab图像处理图像分割【含Matlab源码 191期】 ⛄二、部分源代码 %%无递推 clc; clear; Cimread(‘1.jpg’); Crgb2gray©; %Cimnoise(C,‘gaussian’,0,0.005); figure subplot(1,2,1) imshow© tic …

vue初级入门以及demo实现详解

vue的初级入门1,vue是什么2,vue的特点2.1,采用组件化模式2.2,声明式编码2.3,虚拟DOM Diff算法3,vue的环境的基本配置和使用3.1,在浏览器安装开发工具3.2,开发环境3.3,de…

C++--数据结构--图的相关概念及模拟实现--高阶0712

1. 图的基本概念 图(G)是由顶点(V)集合及顶点间的关系(边 E)组成的一种数据结构; 顶点:图中的结点,第i个顶点记作vi。 两个顶点vi和vj相关称作vi和vj之间有一条边。 …

04查找算法:顺序查找法、二分查找法

开始系统学习算法啦!为后面力扣和蓝桥杯的刷题做准备!这个专栏将记录自己学习算法是的笔记,包括概念,算法运行过程,以及代码实现,希望能给大家带来帮助,感兴趣的小伙伴欢迎评论区留言或者私信博…

技术分享 | 测试平台开发-前端开发之Vue.js 框架的使用(二)

首先将 Vue.js 下载到本地&#xff0c;本章就以本地的 Vue.js 为例。在本地创建一个工作区即创建一个文件夹&#xff0c;使用 vscode 打开&#xff0c;将 Vue.js 放到工作区目录下。 创建挂载元素 首先创建一个 index.html 的文件&#xff0c;使用 <script src"./vue…

educoder:Numpy图像处理

第1关&#xff1a;图像翻转 任务描述 本关任务&#xff1a;读取一副图片&#xff0c;实现图片的翻转。 相关知识 为了完成本关任务&#xff0c;你需要掌握&#xff1a;1.如何读取和保存图像&#xff0c;2.图像的数组表示。 彩色图像 与人脑不同&#xff0c;计算机读入一张…

给视频智能配音怎么弄?一步一步让你学会配音操作

如今我们的生活变得越来越便捷化&#xff0c;因此越来越多的新鲜事物出现在了我们的眼前&#xff0c;例如配音。随着短视频逐渐火爆起来&#xff0c;相信屏幕前的你也剪辑过自己拍摄的视频&#xff0c;并将其发到各大社交平台上吧&#xff01;但是对于视频剪辑来说&#xff0c;…

HTML CSS

一、HTML 介绍 HTML 是一门语言&#xff0c;所有的网页都是用HTML 这门语言编写出来的。HTML(HyperText Markup Language)&#xff1a;超文本标记语言&#xff1a;&#xff08;1&#xff09;超文本&#xff1a;超越了文本的限制&#xff0c;比普通文本更强大。除了文字信息&…

2022 年值得了解的基础设施即代码工具清单

云计算的出现彻底改变了每个 IT 领域。不排除 IT 基础设施。管理员不得不手动配置资源并管理大型 Excel 表格中的数据的日子已经一去不复返了。在当今动态变化的网络需求下&#xff0c;人工维护 IT 基础设施的想法非常可怕。这就是基础设施即代码工具的用武之地。 简单地说&…

【PostgreSQL的“double buffers“刷脏机制和参数】

PostgreSQL数据库使用双缓存写数据&#xff0c;shared_buffer OS page cache,下图是PG与OS内存交互的过程 ,在PostgreSQL中&#xff0c;shared_buffers所代表的内存区域可以看成是一个以8KB的block为单位的数组&#xff0c;即最小的分配单位是8KB。这正好是一个page的大小&…

手慢无,阿里云神作被《Spring Boot进阶原理实战》成功扒下,限时

又来给大家分享好书了&#xff1a;郑天民老师的 《Spring Boot进阶:原理、实战与面试题分析》&#xff0c;别问网上有没有开源版本&#xff01;问就是我也不知道&#xff0c;哈哈&#xff01;但我会有 郑天民是谁&#xff1f; 资深架构师和技术专家&#xff0c;有近15年的软件…