数据库blog1_信息(数据)的处理与效率提升

news2025/7/19 0:06:32

在这里插入图片描述


🌿信息的处理

🍂实际中离不开信息处理

● 解决问题的建模

在这里插入图片描述

任何对问题的处理都可以看作数据的输入、处理、输出。

  • eg.一个项目中,用户点击信息由前端接收传递到后端处理后返回结果
  • eg.面对一个问题,我们在搜集信息后做出处理与分析,最终得出判断
  • eg.硬盘里的信息到内存后,由CPU处理后输出给对应设备(如,显示屏)

● 实际信息处理全过程概括

实际中信息处理的详细流程可以概括为:信息的 输入[收集、整理]+处理[分析、计算、转换…]+输出[呈现…]。

  • 搜集:使用爬虫快速搜集/整理:合适方式归类、存储

🍂信息处理能力有高下之分

● 信息处理能力

由于问题的解决过程可以看作是对信息流的处理,所以,对信息的处理能力越强,就意味着结点的处理能力越强。

  • CPU每秒浮点数计算次数越大,即CPU的能力越强

注意:

  • 同一个问题,不同结点的能力不同。而不同问题,一个结点的解决能力也不同。
  • 即,不能直接比较结点的能力,首先要明确是那个问题,才能比较能力。
    • 如,人脑在抽象问题上优于计算机。而在高速计算问题上,计算机优于人脑。即比较时,不能脱离实际问题。

● 局部对整体的影响

信息处理是由上述的几个步骤依次执行的,由此会发现,每个步骤的效率都会影响最终的效率评价。

  • eg.跑4*100m接力,A组第一棒过于慢(需要40s),其它三棒速度较快(25s),而B组四棒速度均匀(24s)则会发现B组更快。

总结:

  • 每个过程顺利处理,整体效率才高。
  • 总体效率受最低效率的那个步骤影响最大,比如CPU与硬盘间要内存作为过渡,不然CPU效率再高体现不出来。

🍂总结

信息处理与效率的关系

  1. 某个问题的处理的过程过程可以看作是对信息流的处理
  2. 而信息流的处理中,各步骤效率影响着总体效率
  3. 由此,优化各步骤效率且使它们效率相似是提升信息处理能力的方法。
  4. 从而使得结点解决该问题的能力就提升。即解决问题的效率就提升。

经典例子

  • CPU与硬盘间加内存,过渡了各步骤速率差异,使得整体效率变高。

所以,研究每个步骤如何提升效率十分有必要。

  • 比如,优化爬虫规则,使得输入搜集效率提高
  • 而数据库是研究数据的整理(存储)效率,从而使得输入效率的提高

🌿计算机对数据(信息)的处理

电子计算机中的信息都以二进制数据概念存储。即,信息在计算机中的表现形式二进制数据,所以,计算机中的信息处理有可以叫做数据的处理,对应信息处理流程就是:数据输入——>数据处理——>数据输出。

🍂PC的结构

冯诺依曼结构:CPU(运算器、控制器)、存储器、输入输出设备

  • CPU————负责处理,是计算机的核心部件
  • 存储器(cache/内存/硬盘)————负责数据的存储。用于将信息输入CPU/接收来自CPU的信息
  • 输入/输出设备————用于接收非外界的非存储器的信息(eg.键盘)/输出来自CPU的信息

🍂PC数据处理流程效率分析

负责相关步骤的设备:

数据的输出/输入:存储器、输入/输出设备
数据的处理:CPU

其中,输入的内容主要来自存储器,由此,有必要优化存储器,来提升输入/输出效率。优化CPU,提升对数据的处理效率。




🌿输入/输出步骤的优化————存储器的优化

由于存储器在数据输入/输出中起着关键作用,优化存储器结构和访问方式,是提升整体信息处理效率的重要手段。

🍂物理效率优化

主要是硬件与架构方面的优化

  • 合适的存储介质与缓存技术(cache-内存-硬盘三级架构)
  • 存储架构(分布式存储、存储区域网络(SAN)、网络附加存储(NAS)

    问题:只提升了存取的物理效率。没有提示逻辑效率。
  • 举例:快递站一堆混杂的快递,可以选择分拣快的快递员来提升寻找目标快递的速度。由此,效率提高。但如果把快递提前按标签号分类,那么寻找效率会更高。

🍂逻辑优化

在存储数据前,对数据逻辑关系再处理,比如。得出索引、分区存储…,使得查找数据的时候,不用穷举法,而是有规律的在符合特征的区域里查找就行了。

● 数据逻辑优化的本质——元数据

  • 对数据不做处理,就只能穷举遍历查找,而要做到逻辑优化,必然要分析数据的逻辑特性并且记录下来(由此,生成了关于元数据逻辑关系的数据,即数据的数据,我们一般把这个叫做元数据
    • 举例:OS的文件系统(通过目录结构、文件索引等机制优化文件的存储和检索效率。)

● 与数据库的关系

数据库技术主要是研究数据的逻辑优化内容。

  • 比如对数据结构的改变:关系表、索引、键值对
  • 存储策略上, 顺序写入技术(Sequential Write),即沿着磁道写入数据,速率取决于磁盘的转速。
    相关视频:【这应该是B站讲的最好的MySQL日志机制实战教程,2小时深入Innodb存储引擎底层原理、SQL底层!】 https://www.bilibili.com/video/BV1s7DHYBEfR/?share_source=copy_web&vd_source=4e01781ce46b7eace184a7de62dfc2f4




🌿总结

  1. 解决问题抽象建模:对信息流的处理
  2. 信息流的处理:输入——>处理——>输出
  3. 对信息流的处理效率表示结点处理该问题的能力,同时总体效率受各部分效率影响
  4. 所以结点处理问题能力的增强就是提升对问题的信息流的处理效率
  5. 即提升信息流处理各步骤的效率
  6. 在计算机中信息以二进制数据表示,所以提升结点处理问题的能力就是提升对问题数据流(信息)处理能力,即提升对数据流各步骤的处理效率。
  7. PC中对数据流处理的步骤(输入/处理/输出)的负责硬件是CPU、存储器、输入输出设备
  8. 其中,输入输出效率主要与存储器有关,所以,优化数据输入/输出步骤的效率就是优化存储器数据的输入/输出效率
  9. 优化思路分为物理优化与逻辑优化
  10. 其中,数据库技术就是研究存储器中数据的逻辑优化。




🌿注意

数据的逻辑优化是一门独立且复杂的学科,涉及数据结构与组织、数据存储策略、数据访问与查询优化、数据一致性与完整性、数据安全与隐私等多个研究方向。通过优化数据的逻辑结构和访问方式,可以显著提高数据处理的效率和性能。

本质是:将总资源按照某种方式分类并记录这种分类方式对应的各个数据集合信息,以此实现根据分类信息缩小目标资源的查找方式。从而提高搜索效率。

各个领域都会用到,不只是计算机存储器的优化。

  • 举例:档案的分类管理,不涉及计算机,但是用到了数据逻辑优化知识。
  • 超市货架分类、快递/图书馆资源管理分类(对物质资源的分类,本质是先抽象提取了物质资源的信息作为原信息集合,在对这一抽象原信息集合进行逻辑处理
  • 这体现了人类对现实世界的建模思想(物质是物质,认为赋予抽象意义)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2378615.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

布隆过滤器介绍及其在大数据场景的应用

目录 布隆过滤器(Bloom Filter)介绍一、布隆过滤器的基本原理插入元素过程:查询元素过程: 二、布隆过滤器的特点三、误判率计算四、举例说明五、总结 Python版的简单布隆过滤器实现示例一、简单布隆过滤器Python示例二、布隆过滤器…

Fidder基本操作

1.抓取https请求 Fidder默认不能抓取https请求,我们必须通过相应的设置才能抓取https请求 1.选择tools下的option 2.选择https选项,并且勾选下面的选项 3.点击Actions导出信任证书到桌面(expert root certificate to desktop) 4.在浏览器中添加对应的证…

项目管理进阶:精读 78页华为项目管理高级培训教材【附全文阅读】

本文概述了华为项目管理(高级)课程的学习目标及学习方法。学习该课程后,学员应能: 1. **深刻理解项目管理**:掌握项目管理的基本概念与方法,构建项目管理思维框架。 2. **应用IBEST理念**:结合I…

[Java] 方法和数组

目录 1. 方法 1.2 什么是方法 1.2 方法的定义 1.3 方法的调用 1.4 方法的重载 1.5 递归 2. 一维数组 2.1 什么是数组 2.2 数组的创建 2.3 数组的初始化 2.4 遍历数组 2.5 引用数据类型 2.6 关于null 2.7 数组转字符串 2.8 数组元素的查找 2.9 数组的排序 2.10…

微软家各种copilot的AI产品:Github copilot、Microsoft copilot

背景 大家可能听到很多copilot,比如 Github Copilot,Microsoft Copilot、Microsoft 365 Copilot,有什么区别 Github Copilot:有网页版、有插件(idea、vscode等的插件),都是面向于程序员的。Mi…

回溯法理论基础 LeetCode 77. 组合 LeetCode 216.组合总和III LeetCode 17.电话号码的字母组合

目录 回溯法理论基础 回溯法 回溯法的效率 用回溯法解决的问题 如何理解回溯法 回溯法模板 LeetCode 77. 组合 回溯算法的剪枝操作 LeetCode 216.组合总和III LeetCode 17.电话号码的字母组合 回溯法理论基础 回溯法 回溯法也可以叫做回溯搜索法,它是一…

【进程控制二】进程替换和bash解释器

【进程控制二】进程替换 1.exec系列接口2.execl系列2.1execl接口2.2execlp接口2.3execle 3.execv系列3.1execv3.2总结 4.实现一个bash解释器4.1内建命令 通过fork创建的子进程,会继承父进程的代码和数据,因此本质上还是在执行父进程的代码 进程替换可以将…

JavaScript 的编译与执行原理

文章目录 前言🧠 一、JavaScript 编译与执行过程1. 编译阶段(发生在代码执行前)✅ 1.1 词法分析(Lexical Analysis)✅ 1.2 语法分析(Parsing)✅ 1.3 语义分析与生成执行上下文 🧰 二…

NHANES指标推荐:FMI

文章题目:Exploring the relationship between fat mass index and metabolic syndrome among cancer patients in the U.S: An NHANES analysis DOI:10.1038/s41598-025-90792-9 中文标题:探索美国癌症患者脂肪量指数与代谢综合征之间的关系…

【JDBC】JDBC常见错误处理方法及驱动的加载

MySQL8中数据库连接的四个参数有两个发生了变化 String driver "com.mysql.cj.jdbc.Driver"; String url "jdbc:mysql://127.0.0.1:3306/mydb?useSSLfalse&useUnicodetrue&characterEncodingutf8&serverTimezoneAsia/Shanghai"; 或者Strin…

车载以太网驱动智能化:域控架构设计与开发实践

title: 车载以太网驱动专用车智能化:域控架构设计与开发实践 date: 2023-12-01 categories: 新能源汽车 tags: [车载以太网, 电子电气架构, 域控架构, 专用车智能化, SOME/IP, AUTOSAR] 引言:专用车智能化转型的挑战与机遇 专用车作为城市建设与工业运输…

如何利用技术手段提升小学数学练习效率

在日常辅导孩子数学作业的过程中,我发现了一款比较实用的练习题生成工具。这个工具的安装包仅1.8MB大小,但基本能满足小学阶段的数学练习需求。 主要功能特点: 参数化出题 可自由设置数字范围(如10以内、100以内) 支…

BGP路由策略 基础实验

要求: 1.使用Preva1策略,确保R4通过R2到达192.168.10.0/24 2.用AS_Path策略,确保R4通过R3到达192.168.11.0/24 3.配置MED策略,确保R4通过R3到达192.168.12.0/24 4.使用Local Preference策略,确保R1通过R2到达192.168.1.0/24 …

第9讲、深入理解Scaled Dot-Product Attention

Scaled Dot-Product Attention是Transformer架构的核心组件,也是现代深度学习中最重要的注意力机制之一。本文将从原理、实现和应用三个方面深入剖析这一机制。 1. 基本原理 Scaled Dot-Product Attention的本质是一种加权求和机制,通过计算查询(Query…

双向长短期记忆网络-BiLSTM

5月14日复盘 二、BiLSTM 1. 概述 双向长短期记忆网络(Bi-directional Long Short-Term Memory,BiLSTM)是一种扩展自长短期记忆网络(LSTM)的结构,旨在解决传统 LSTM 模型只能考虑到过去信息的问题。BiLST…

MySQL UPDATE 执行流程全解析

引言 当你在 MySQL 中执行一条 UPDATE 语句时,背后隐藏着一套精密的协作机制。从解析器到存储引擎,从锁管理到 WAL 日志,每个环节都直接影响数据一致性和性能。 本文将通过 Mermaid 流程图 和 时序图,完整还原 UPDATE 语句的执行…

亚马逊云科技:开启数字化转型的无限可能

在数字技术蓬勃发展的今天,云计算早已突破单纯技术工具的范畴,成为驱动企业创新、引领行业变革的核心力量。亚马逊云科技凭借前瞻性的战略布局与持续的技术深耕,在全球云计算领域树立起行业标杆,为企业和个人用户提供全方位、高品…

【实测有效】Edge浏览器打开部分pdf文件显示空白

问题现象 Edge浏览器打开部分pdf文件显示空白或显示异常。 ​​​​​​​ ​​​​​​​ ​​​​​​​ 问题原因 部分pdf文件与edge浏览器存在兼容性问题,打开显示异常。 解决办法 法1:修改edge配置 打开edge浏览器&#x…

RJ连接器的未来:它还会是网络连接的主流标准吗?

RJ连接器作为以太网接口的代表,自20世纪以来在计算机网络、通信设备、安防系统等领域中占据了核心地位。以RJ45为代表的RJ连接器,凭借其结构稳定、信号传输可靠、成本低廉等优势,在有线网络布线领域被广泛采用。然而,在无线网络不…

Redis持久化机制详解:保障数据安全的关键策略

在现代应用开发中,Redis作为高性能的内存数据库被广泛使用。然而,内存的易失性特性使得持久化成为Redis设计中的关键环节。本文将全面剖析Redis的持久化机制,包括RDB、AOF以及混合持久化模式,帮助开发者根据业务需求选择最适合的持…