数据治理之数据梳理

news2025/7/20 9:35:15

目录

1.定义

2.用途作用

3.实施方法

3.1自上而下

3.1.1数据域梳理

3.1.2数据主题梳理

3.1.3 数据实体梳理

3.1.4设计数据模型

3.1.5优点

3.1.5缺点

3.2自下而上

 3.2.1需求分析

3.2.2展现

3.2.3分析逻辑

 3.2.4数据建模

 3.2.5优点

  3.2.6缺点


1.定义

         “数据梳理”即对企业数据资产的梳理。

2.用途作用

        在通过对数据的过程中,可知晓企业当中到底有哪些儿数据,这些数据存储在哪些地方,数据质量如何。数据梳理能够帮助我们对企业数据资产进行摸底,为数仓建设-建模提供有力地支撑。

3.实施方法

3.1自上而下

        自上而下的数据梳理指从企业业务视角中出发,通过业务流程进行全面分析,逐层分解。

由数据域→数据主题→数据实体→数据模型→,一步步细化、抽象、设计出来的实体数据模型的过程。

3.1.1数据域梳理

        在业务调研后,可以进行数据域的划分。划分主题域,需要分析各个业务模块中有哪些业务活动。通常都按业务系统划分,比如:“人力资源管理系统”对应“人力资源数据域”,“财务管理系统”对应“财务数据域”,“供应链管理系统”对应“供应链数据域”.....等等。

3.1.2数据主题梳理

        数据主题梳理是指,按照部门职能、业务流程来梳理数据域的二级主题。

        例如:

                人力资源数据域下包含的二级主题有:招聘管理、培训管理、人事管理、薪酬福利管理、绩效考核管理...等。

                供应链数据域下包含的二级主题有:供应商、销售、商品物料、仓库....等。

3.1.3 数据实体梳理

        数据实体梳理是指数据主题所涉及的各类业务单据、用户视图进行数据收集和分析,细化出业务主题所包含的数据实体和数据实体涉及的数据元素。

        例如:

                人事管理主题包含的实体有:组织机构、岗位、人员等

3.1.4设计数据模型

        逻辑模型设计:对实体进行抽象,描述实体之间的继承或关联关系,明确数据结构的属性构成等。

        物理模型设计:描述的物理数据存储结构和数据关系。

3.1.5优点

        全面系统的梳理,通过数据域 -》 数据主题 -》 数据实体 -》数据模型的逐层分解,使企业清晰地了解企业数据的来龙去脉,有助于企业把握各类数据的源头,确保数据的有效性、完整性和一致性,有效消除信息孤岛。

3.1.5缺点

        需要较大的成本和较长的时间周期来进行数据梳理

3.2自下而上

        自下而上的数据梳理特点是比较有针对性,直击目标和需求。该方法以目标和需求为驱动,一步步梳理出实现需求所需要的数据,并确定数据的来源、数据结构及数据实体之间的关系。

 3.2.1需求分析

        数据治理是一个复杂的过程,项目的开发涉及多方面的问题和风险,如技术风险、数据质量问题、项目管理问题,但项目中最隐蔽、最容易忽略、最难控制的一环就是需求的调研和分析。需求分析应从IT现状、业务部门、高层希望等方面展开,明确项目的目标和范围。

3.2.2展现

        虽然有了明确的需求,但客户跟关注的是数据的展现形式和效果,因此将不同的数据分析结果推送给不同的客户是该阶段的重点。采用原型的方式可以帮助和引导客户的需求。

3.2.3分析逻辑

        分析逻辑是指分析实现需求的业务逻辑,其输出结果是数据仓库的逻辑模型。逻辑模型用来表达实际业务中的具体业务关系和分析逻辑。

 3.2.4数据建模

        将逻辑模型转化为给数据库存储的物理模型。

 3.2.5优点

        目的性强,从既定的需求触发到具体的数据结构设计,越到底层变化的可能性越小。从整体出发的大规模调研规划相比,这种方式的周期更短、见效更快(主要满足于需求目标),有了明确的项目目标和需求的情况下采用方式最佳。

  3.2.6缺点

        局部梳理,缺乏全面性和系统性,无法支持企业顶层的数据架构设计。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/395414.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

C语言例程:用二维数组实现矩阵转置

用二维数组实现矩阵转置 本实例将输入的 34 矩阵转置为 43 矩阵,并输出结果。通过本实例,可以学习如何使用二 维数组。 实例解析 二维数组的定义 二维数组定义的一般形式为: 第一部分 基础篇 X2277 类型说明符 数组名[常量表达式][常量表…

STM32移植FreeRTOS操作系统

一、FreeRTOS源码下载(1)移植钱得准备前菜对吧,我们先来去官网瞄一瞄网址:https://freertos.org/zh-cn-cmn-s/ 第一步:点击下载FreeRTOS第二步:选择版本下载(我选择稳定版本)注&…

git 双因子身份登录遇到的问题及解决方法

git 双因子身份登录描述: 一般我们登录账号和密码的时候都是通过git的账号和密码直接登录即可,但是如果我们用双因子身份进行登录的时候发现用账号和密码登录一直登录不了,,,,有点emo了。。 git 双因子身份…

CentOS8基础篇13:yum与dnf软件包管理器

一、YUM工具的使用 yum可以说是一个管理rpm软件包的前端工具,其基于rpm软件包进行管理,能够从指定服务器自动下载rpm软件包并进行安装,可以自动处理依赖关系,并一次安装所有需要的软件包。在RHEL本地操作系统中设置相应的软件仓库…

SAP smartforms打印图片

注意:SAP只能上传打印bmp格式图片 1.标准程序上传 T-CODE:SE78 2.程序代码上传 DATA: P_FILENAME TYPE RLGRAP-FILENAME,P_NAME TYPE STXBITMAPS-TDNAME,P_TITLE LIKE BAPISIGNAT-PROP_VALUE,P_DOCID TYPE STXBITMAPS-DOCID,P_RESOLUTION TYPE …

案例分析之——理由Mybatis动态SQL实现复用

无复用思想的做法: 在没有复用思想的时候,就只顾着实现功能。比如开发过程中涉及到两个表的更新功能,每需要更新一处,就写一个接口,结果出现了写了11个接口的情况。 这样虽然功能实现了,可是可能自…

express+websocket实现线上聊天

1.webSocket简介 WebSocket是一种通信协议,可在单个TCP连接上进行全双工通信。WebSocket使得客户端和服务器之间的数据交换变得更加简单,允许服务端主动向客户端推送数据。在WebSocket API中,浏览器和服务器只需要完成一次握手,两…

SpringCloud之 Hystrix服务熔断

文章目录一、Hystrix 服务熔断 (已过时)🍉1.1 服务降级🍉1.2 服务熔断🍉1.3 OpenFeign 实现降级二、hystrix-dashboard 监控🍋2.1 监控页面部署🍋2.2 观察现象提示:以下是本篇文章正文内容,Spri…

【PySide6】信号(signal)和槽函数(slot),以及事件过滤器

说明 在PYQT中,父控件可以通过两种方式响应子控件的事件: 通过信号(signal)和槽函数(slot)机制连接子控件和父控件父控件可以通过设置eventFilter()方法来监听响应子控件的事件 一、信号(signal)和槽函数(slot) 示例 在PYQT中,每个组件都…

传输线的物理基础(三):传输线的瞬时阻抗

每个信号都有一个上升时间 RT,通常是从 10% 到 90% 的电压电平测量的。当信号沿传输线向下移动时,前沿在传输线上展开并具有空间范围。如果我们可以冻结时间并观察电压分布向外移动时的大小,我们会发现类似下图的东西。传输线上上升时间的长度…

Python中的三器一闭(详细版)

python中的三器一闭迭代器什么是迭代什么是可迭代对象判断数据是否可迭代什么是迭代器迭代器的本质使用迭代器取数据自定义迭代器生成器创建生产器的方法关键字yieldnext和send装饰器装饰器的功能定义装饰器闭包什么是闭包函数、匿名函数、闭包、对象 当做实参时的区别迭代器 …

Blazor_WASM之3:项目结构

Blazor_WASM之3:项目结构 Blazor WebAssembly项目模板可选两种,Blazor WebAssemblyAPP及Blazor WebAssemblyAPP-Empty 如果使用Blazor WebAssemblyAPP模板,则应用将填充以下内容: 一个 FetchData 组件的演示代码,该…

蓝桥杯-最优清零方案(2022省赛)

蓝桥杯-最优清零方案1、问题描述2、解题思路3、代码实现1、问题描述 给定一个长度为 N 的数列 1,2,⋯,A1,A2,...,ANA_1,A_2,...,A_NA1​,A2​,...,AN​ 。现在小蓝想通过若干次操作将 这个数列中每个数字清零。 每次操作小蓝可以选择以下两种之一: 1. 选择一个大于 0 的整数, 将…

杂记——18.VSCode的下载及使用

这篇文章,我们来讲一下VSCode,讲一下如何下载及使用VSCode 目录 1.VSCode的下载 1.1VSCode的简介 1.2VSCode的下载与安装 1.2.1下载 1.2.2安装 2.VSCode的使用 2.1界面 2.2基础设置 2.3禁用自动更新 2.3自动保存设置 2.4Vscode更换主题 2.5…

Hive面试题-HQL转换MapReduce底层核心逻辑剖析

视频可查看:https://www.bilibili.com/video/BV1RV41147Tb/?spm_id_from333.999.0.0&vd_source3ba3c3ba31427f60d734ede7a948de4a 原文地址:Hive学习之路 (二十)Hive 执行过程实例分析 - 扎心了,老铁 - 博客园 (c…

K_A14_012基于STM32等单片机驱动GY-25倾斜度角度模块 串口与OLED0.96双显示

K_A14_012基于STM32等单片机驱动GY-25倾斜度角度模块 串口与OLED0.96双显示一、资源说明二、基本参数参数引脚说明三、驱动说明对应程序:四、部分代码说明1、接线引脚定义1.1、STC89C52RCGY-25倾斜度角度模块1.2、STM32F103C8T6GY-25倾斜度角度模块五、基础知识学习与相关资料下…

测试按方向的分类

按方向分(都是在系统测试阶段测试的) 功能测试:举例说明什么是功能 性能测试 ①压力测试:不断地增加压力,从而找到系统的极限 ②负载测试:系统在极限工作条件下,最多能持续多久——可能发生内存泄漏/溢出,导…

angular技术(持续更新)

css类绑定[class.color-blue]"isBlue()" 如果isBlue()返回为true 这里使用color-blue的class样式style样式绑定[style.background-color]"canclick ? blue: red" 组件与模块模块的元数据*declarations: 用于指定属于这个模块的视图类(View Cla…

CM6.3.2启用Kerberos(附问题解决)

基础准备支持JCE的jdk重新安装JCE的jdk(已正确配置跳过)删除/usr/java/下面的jdk,然后通过CM->管理->安全->安装Java无限制...重新安装后,配置Java(可选)主机->主机配置->搜java->Java主目录 配置路径主机->所有主机->设置->高级:Java配置Kerberos安…

[算法]插入排序

参考:《漫画算法-小灰的算法之旅》 目录 1、排序算法的思想 2、具体步骤 3、插入排序的优化 4、时间复杂度和空间复杂度 5、代码 1、排序算法的思想 维护一个有序区,把元素一个个插入有序区的适当位置,直到所有元素都有序为止。 2、具体…