Datawahle组队学习——妙趣横生大数据 Day3

news2025/7/19 4:46:46

妙趣横生大数据 Day3

    • 四、HBase
      • 1. 背景
      • 2. HBase 概述
      • 3. HBase 数据模型
        • 相关概念
        • 数据坐标
        • 概念视图
        • 物理视图
        • 面向列的存储
      • 4. HBase 实现原理
        • HBase 功能组件
        • 表和 Region
        • Region 定位
      • 5. HBase 运行机制
        • 系统架构
        • Region服务器的工作原理
        • Store工作原理
        • HLog工作原理
      • 实验

Datawhale在这里插入图片描述
大数据技术相关内容的导论课程：妙趣横生大数据 Juicy Big Data

四、HBase

1. 背景

  1. Hadoop 的局限性：批处理、顺序的方式访问数据，无法实现对数据的随机访问

  2. 数据结构的分类：结构化数据、半结构化数据、非结构化数据

  3. 为存储不同数据结构，数据库包括：

    关系型数据库 (MySQL)、键值存储数据库 (Redis)、列存储数据库 (HBase)、面向文档数据库 (MongoDB)、图形数据库 (Neo4J)、搜索引擎数据库 (Solr)

  4. HBase与传统的关系型数据库的区别主要在于：数据类型 （存储为未经解释的字符串）、数据操作（不会把数据充分规范化）、存储模式（列存储）、数据索引 （支持行键索引）、数据维护（保留一段时间）、可伸缩性（水平扩展性好）

2. HBase 概述

  1. 构建在Hadoop文件系统之上的一个高可靠、高性能、面向列、可伸缩的分布式数据库，主要用来存储非结构化和半结构化的松散数据。
  2. 提供对大量结构化数据的快速随机访问。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mASUsLA3-1676984437639)(null)]

3. HBase 数据模型

相关概念

  • 表：HBase采用表来组织数据，表由行和列组成，列划分为若干个列族。
  • 行：每个HBase表都由若干行组成，每个行由行键（row key）来标识。
  • 列族：一个HBase表被分组成许多“列族”（Column Family）的集合，它是基本的访问控制单元。表中的每个列都归属于某个列族，数据可以被存放到列族的某个列下面（列族需要先创建好）。在创建完列族以后，就可以使用同一个列族当中的列。列名都以列族作为前缀。例如，courses:history和courses:math这两个列都属于courses这个列族。
  • 列限定符：列族里的数据通过列限定符（或列）来定位。
  • 单元格：在HBase表中，通过行、列族和列限定符确定一个“单元格”（cell），单元格中存储的数据没有数据类型，总被视为字节数组byte[]。
  • 时间戳：每个单元格都保存着同一份数据的多个版本，这些版本采用时间戳进行索引。
img

数据坐标

  1. 一个“四维坐标”，即 [行键, 列族, 列限定符, 时间戳]

  2. HBase可以视为一个键值数据库：‘四维坐标’（键）、单元格内容（值）

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Z9WWDcBl-1676984436161)(null)]

概念视图

一个表可以视为一个稀疏、多维的映射关系

  • eg：存储网页的HBase表的片段：每个行都包含相同的列族，行不需要在每个列族里存储数据

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8nv7fKkH-1676984432775)(null)]

物理视图

采用基于列的存储方式（与传统关系数据库的最大区别）

  • eg：前述概念视图进行物理存储，会存储以下两个小片段

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rWdf7oyK-1676984434286)(null)]

面向列的存储

  • 数据按列存储，每一列单独存放
  • 数据即是索引
  • 只访问查询涉及的列，大量降低系统IO
  • 每一列由一个线索来处理，查询采用并发处理方式
  • 数据类型一致，数据特征相似，采用高效压缩方式
  • 缺陷：执行链接操作时，需要昂贵的元组重构代价

4. HBase 实现原理

HBase 功能组件

  • 库函数
    • 用于连接到每个客户端
  • 一个 Master 主服务器
    • 负责管理和维护HBase表的分区信息，维护Region服务器列表，分配Region，负载均衡
  • 许多 Region 服务器
    • 负责存储和维护分配给自己的Region，处理来自客户端的读写请求
    • 客户端读取数据：获得Region的存储位置信息后，直接从Region服务器上读取数据
    • 客户端通过Zookeeper获得Region位置信息，大多数客户端甚至从来不和Master通信

表和 Region

  • HBase存储了很多表，每个HBase表有包含大量行（无法存储在一台机器）

  • 一个 HBase 表被划分成多个 Region 分区

    • Region包含了位于某个值域区间内的所有数据，是负载均衡和数据分发的基本单位

  • 一个 Region 会分裂成多个新的 Region

Region 定位

  • 每个Region都有一个RegionID来标识它的唯一性，这样，一个Region标识符就可以表示成表名＋开始主键+RegionID
  • “元数据表”，又名.META.表： Region标识符、Region服务器标识
  • .META.表也会被分裂成多个Region
  • “根数据表”，-ROOT-`表：记录所有元数据的具体位置
    • -ROOT-表是不能被分割的，永远只存在一个Region用于存放-ROOT-表
    • 存放-ROOT-表的唯一个Region，它的名字是在程序中被写死的，Master主服务器永远知道它的位置

5. HBase 运行机制

系统架构

  • 客户端

    • 客户端包含访问HBase的接口
    • 缓存中维护着已经访问过的Region位置信息，用来加快后续数据访问过程

  • Zookeeper服务器：

    • 帮助选举出一个Master作为集群的总管，并保证在任何时刻总有唯一一个Master在运行，这就避免了Master的“单点失效”问题
    • 很好的集群管理工具

  • Master服务器：主服务器Master主要负责表和Region的管理工作：

    • 管理用户对表的增加、删除、修改、查询等操作
    • 实现不同Region服务器之间的负载均衡
    • 在Region分裂或合并后，负责重新调整Region的分布
    • 对发生故障失效的Region服务器上的Region进行迁移

  • Region服务器

    • HBase中最核心的模块，负责维护分配给自己的Region，并响应用户的读写请求

Region服务器的工作原理

  1. 用户读写数据过程
    • 用户写入数据时，被分配到相应Region服务器去执行
    • 用户数据首先被写入到MemStore和Hlog中
    • 只有当操作写入Hlog之后，调用commit() 方法才会将其返回给客户端
    • 当用户读取数据时， Region服务器会首先访问MemStore缓存，如果找不到，再到磁盘的StoreFile中寻找
  2. 缓存的刷新
    • 系统会周期性地把MemStore缓存里的内容刷写到磁盘的StoreFile文件中，清空缓存，并在Hlog里面写入一个标记
    • 每次刷写都生成一个新的StoreFile文件，因此，每个Store包含多个StoreFile文件
    • 每个Region服务器都有一个自己的HLog文件，每次启动都检查该文件，确认最近一次执行缓存刷新操作之后是否发生新的写入操作；如果发现更新，则先写入MemStore，再刷写到StoreFile，最后删除旧的Hlog文件，开始为用户提供服务
  3. StoreFile的合并
    • 每次刷写都生成一个新的StoreFile，数量太多，影响查找速度
    • 调用Store.compact()把多个StoreFile合并成一个
    • 合并操作比较耗费资源，只有数量达到一定阈值后才会启动合并

Store工作原理

  • Store是Region服务器的核心
  • 多个StoreFile合并成一个StoreFile
  • 单个StoreFile过大时，又触发分裂操作，1个父Region被分裂成两个子Region

HLog工作原理

保证系统发生故障时能够恢复到正确的状态

[第四章：HBase (datawhalechina.github.io)](https://datawhalechina.github.io/juicy-bigdata/#/ch4 HBase?id=_432-表和region)

实验

Datawhale在这里插入图片描述
大数据技术相关内容的导论课程：妙趣横生大数据 Juicy Big Data

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/362366.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Redis学习之Jedis（五）

Redis学习之Jedis（五）

这里写目录标题一、Jedis简介二、Jedis代码实现2.1 新建java工程2.2 导入jar包2.3 编写代码2.4 这里可以换用maven项目三、Jedis简易工具类开发3.1 添加jar包3.2 封装连接参数3.3 加载配置信息3.4 获取连接一、Jedis简介 Jedis提供了Java与Redis的连接服务。 二、Jedis代码实…
阅读更多...
Sigmoid和Softmax共通与区分

Sigmoid和Softmax共通与区分

一、共同点 Softmax以及Sigmoid这两者都是神经网络中的激活函数，将输入非线性化。 都作为神经网络的最后一层，将输出数值转换为概率值。 二、不同点 1、Softmax Softmaxexi∑j1nexjSoftmax \frac{e^{x_{i}}}{\sum_{j1}^{n}e^{x_{j}}} Softmax∑j1n​…
阅读更多...
第一章 操作系统概述

第一章 操作系统概述

目录一、什么是操作系统？1、操作系统的概念2、计算系统的构成3、主要作用二、操作系统有哪些功能？1、操作系统的目标2、操作系统的功能三、操作系统有哪些特征？1、并发性2、共享性3、虚拟性4、异步性四、操作系统的运行机制是怎样的&#xff…
阅读更多...
uniapp 实时定位（高德、后台运行、支持息屏、坐标转换、距离计算） Ba-LocationAMap

uniapp 实时定位（高德、后台运行、支持息屏、坐标转换、距离计算） Ba-LocationAMap

简介（下载地址） Ba-LocationAMap 是一款基于高德的定位插件。支持实时定位、后台运行、息屏运行等；支持逆地理地址信息；支持坐标转换；支持坐标转换；支持距离计算；支持电池优化白名单。 本插件…
阅读更多...
Pod容器

Pod容器

1、Pod基础概念Pod是kubernetes中最小的资源管理组件，Pod也是最小化运行容器化应用的资源对象。一个Pod代表着集群中运行的一个进程。kubernetes中其他大多数组件都是围绕着Pod来进行支撑和扩展Pod功能的，例如，用于管理Pod运行的StatefulSet和…
阅读更多...
如何在jmeter中把响应中的数据提取出来并引用

如何在jmeter中把响应中的数据提取出来并引用

jmeter做接口测试过程中，经常遇到请求需要用到token的时候，我们可以把返回token的接口用后置处理器提取出来，但是在这种情况下，只能适用于当前的线程组，其他线程组无法引用到提取的token变量值，所以必须要生…
阅读更多...
数据库三大范式

数据库三大范式

目录 1.什么是范式 2.为什么使用范式 3.数据库范式类型 4.第一范式 5.第二范式 6.第三范式 1.什么是范式 一些约束、规范、规则 来优化数据库表的设计和存储，这些规则就称为范式。 2.为什么使用范式 遵从不同的规范要求，设计出合理的关系型数据库…
阅读更多...
vue中go.js的使用教学（三：创建零部件）

vue中go.js的使用教学（三：创建零部件）

目录 1.介绍 2.创建零部件 一.复杂版 二.简洁版 a.(小复杂版)重写上方复杂版代码： b.（优化版）重写上方小复杂版 c.这边在加一个扩展（GraphObject.make 构建一个 Brush） 1.介绍 这边的零部件，指的是每…
阅读更多...
破解遗留系统快速重构的5步心法（附实例）

破解遗留系统快速重构的5步心法（附实例）

前两天和一个架构师朋友闲聊，说到了 「重构」 这个话题，他们公司早年间上线的项目系统，因一直没专人在演进过程中为代码质量负责，导致现在代码越来越混乱，逐渐堆积成“屎山”，目前的维护成本已远高于重新开…
阅读更多...
#贴改色膜前，你必须要知道的事情

#贴改色膜前，你必须要知道的事情

关于汽车改色，大多数人都会觉得简单的改个颜色，只是上一层膜而已。但是事实不是这样，改色膜真的不只是看价格和颜色这么简单。最近也有车主来吐槽自己踩过的坑，这篇给大家科普一下，怎么才能避坑！一&#xf…
阅读更多...
Python os和sys模块

Python os和sys模块

一、os模块 os 模块是 Python中的一个内置模块，也是 Python中整理文件和目录最为常用的模块。 该模块提供了非常丰富的方法用来处理文件和目录。比如：显示当前目录下所有文件/删除某个文件/获取文件大小 1、获取当前的工作路径 在 Python 中&#xff0…
阅读更多...
传统巨头生“变”，中国毫米波雷达市场战火再升级

传统巨头生“变”，中国毫米波雷达市场战火再升级

进入2023年，中国车载毫米波雷达市场战火明显升级。 一方面，愈演愈烈的份额抢夺战不仅仅存在于几大传统巨头之间，也快速转移到与国产供应商之间；随着部分外资巨头的本土化战略深入落地，同时对国产供应商造成了压力。 …
阅读更多...
多层感知机的区间随机初始化方法

多层感知机的区间随机初始化方法

摘要： 训练是构建神经网络模型的一个关键环节，该过程对网络中的参数不断进行微调，优化模型在训练数据集上的损失函数。参数初始化是训练之前的一个重要步骤，决定了训练过程的起点，对模型训练的收敛速度和收敛结果有重要…
阅读更多...
mysql -学习总结

mysql -学习总结

mysql 详解1、mysql特点2、事务2.1 事务的四大特性 – ACID2.2 并发事务问题2.3 事务的四大隔离级别2.4 事务隔离级别操作sql2.5 事务原理 – LBCC MVCC2.4.1 行的隐藏列2.4.2 ReadView2.4.3 MVCC在四种隔离级别下的区别2.5 undo log、binlog、redo log2.5.1 Undo log2.5.2 bin…
阅读更多...
【BCT_RFC 3927】IPv4 链路本地地址的动态配置

【BCT_RFC 3927】IPv4 链路本地地址的动态配置

本文件规定了一个因特网标准跟踪协议互联网社区，并请求讨论和建议改进。请参考当前版本的“互联网标准化国家的官方协议标准”（STD1）和该协议的状态。 抽象的 要参与广域 IP 网络，主机需要为其接口配置 IP 地址，可以通…
阅读更多...
10分钟学会使用 Loki 日志聚合系统

10分钟学会使用 Loki 日志聚合系统

Loki 是一个由Grafana Labs 开发的开源日志聚合系统，旨在为云原生架构提供高效的日志处理解决方案。 Loki 通过使用类似 Prometheus 的标签索引机制来存储和查询日志数据，这使得它能够快速地进行分布式查询和聚合，而不需要将所有数据都从存储…
阅读更多...
五星好文·射频功率放大器（RF PA）概述

五星好文·射频功率放大器（RF PA）概述

基本概念 射频功率放大器(RF PA)是发射系统中的主要部分，其重要性不言而喻。在发射机的前级电路中，调制振荡电路所产生的射频信号功率很小，需要经过一系列的放大（缓冲级、中间放大级、末级功率放大级）获得足够的射频功…
阅读更多...
面试官：说说你对react生命周期的理解

面试官：说说你对react生命周期的理解

hello，这里是潇晨，今天我们来看下react生命周期在各个阶段是怎样执行的，在面试的过程中有没有遇到这个问题呢，大家也可以学习往期react源码体系文章哦，往期文章目录在文章结尾。 在之前的react源码介绍中，…
阅读更多...
小程序（十）签到业务流程分析

小程序（十）签到业务流程分析

文章目录一、如何获取地理信息？二、如何判定某地区新冠疫情的风险等级？系统的人脸签到模块包含的功能非常丰富，不仅仅只有人脸识别的签到功能，而且还可以根据用户签到时候的地理定位，计算出该地区是 新冠疫情 的 高风险…
阅读更多...
ChIP-seq 分析：评估片段长度与处理（6）

ChIP-seq 分析：评估片段长度与处理（6）

1. 片段长度评估 片段长度的预测是 ChIPseq 的重要组成部分，它会影响峰识别、峰识别和覆盖概况。 使用互相关或交叉覆盖可以评估按链进行的读取聚类，从而衡量质量。 fragment在 ChIPseq 中，通常是 dsDNA 的短单端读取。片段的 5 将在“”链上…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023