大数据基础知识【大数据导论】

news2025/11/4 7:41:50

各位大佬好，这里是阿川的博客，祝您变得更强

在这里插入图片描述个人主页：在线OJ的阿川

大佬的支持和鼓励，将是我成长路上最大的动力 在这里插入图片描述

阿川水平有限，如有错误，欢迎大佬指正在这里插入图片描述

在这里插入图片描述

大数据基础知识前 必看
【大数据导论】—大数据序言
【大数据导论】—大数据、人工智能、云计算、物联网、区块链序言

大数据素养

技术性内容

采集
处理
储存
分析
技术
工具

非技术性内容

大数据安全
大数据伦理
大数据思维

大数据基本知识

在这里插入图片描述

其中大数据交易
买卖数据的活动，是以货币为媒介 获取数据商品的过程

数据商品三大特征
- 处理后的数据才能交易
- 数据交易主体涉及众多
- 交易过程涉及多个产业链
  
  大数据交易形式
  - 大数据交易公司
  - 提供个人数据场所的公司
  - 数据交易所
  - API模式
    向用户提供接口，允许用户对平台数据进行访问
    
    大数据交易技术支撑
    
    大数据交易发展现状
    
    大数据数据来源
    - 政府公开数据
    - 企业内部数据
    - 数据供应方数据
    - 网页爬虫数据
      
      大数据数据产品类型
      - API
      - 数据包
      - 云服务
      - 解决方案
      - 数据产品
      - 数据定制服务
        
        大数据交易平台类型
        综合数据服务平台
        为用户提供定制化的服务，涉及数据的处理和加工
        第三方数据交易平台
        对交易过程进行监管，并提供数据出售、数据购买、数据供应方查询、数据需求发布等一系列服务
        
        从运行角度划分：
        政府主导的大数据交易平台
        企业以市场需求为导向建立的大数据交易平台
        产业联盟性质的大数据交易平台
        
        大数据交易平台的运营模式
        数据中介和数据处理加工功能的交易平台
        
        只具备中介功能的交易平台
其中大数据思维

大数据思维主要指
- 全样而非抽样
  
  因为有了分布式储存和处理技术，从而可以对全部的数据进行分析，而不是只能对小样本处理
- 效率而非精确
  
  处理数据时往往要"秒级"响应，所以效率往往是被关注的重点，分析的精确度达到一定的程度即可。
- 相关而非因果
  
  解释事物背后发展的机理
  预测未来可能发生的事件
- 以数据为中心
  
  以海量的数据进行计算，从而推测结果
- 我为人人，人人为我
  
  其中涉及
  - 数据采集
  - 数据处理
  - 信息发布
其中大数据安全
重点关注数据的
- 保密性
- 完整性
- 可用性
  
  大数据安全的隐患
  - 大数据成为网络攻击的显著目标
  - 大数据加大隐私泄露风险
  - 大数据技术被应用到攻击手段中
  - 大数据成为高级可持续攻击的一个载体
    
    大数据安全的变化
    - 从静态安全到动态安全
      
      大数据安全范围
      - 隐私和个人信息安全
        
        其中包含个人的
其中大数据伦理
- 个人信息被无形滥用
- 生活隐私被窥探利用
- 数据安全漏洞
- 数据垄断
其中数据共享
不数据共享会导致：
- 数据孤岛
  政府和企业里各个部门各自储存数据，部门之间的数据无法共通，导致数据像各个孤岛一样缺乏关联性
  
  数据共享意义
  - 对于政府\企业的意义
其中数据开放
数据开放三大理论