【Hadoop|HDFS篇】DataNode概述

news2024/10/16 14:58:11

1. DataNode的工作机制

1)一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。

2)DataNode启动后向NameNode注册,通过后,周期性(6h)的向NameNode上报所有块信息。

DN向NN汇报当前解读信息的时间间隔,默认6小时。

DN扫描自己节点块信息列表的时间,默认为6小时。

3)心跳是每3s一次,心跳返回的结果带有NameNode给该DataNode的命令如复制块数据到另一台机器上,或删除某个数据块,如果超过10分钟没收到某个DataNode的心跳,NameNode认为该DataNode挂掉了。信息不会存储在该DataNode上了。

如图:

我把hadoop104这台机器停掉了,超过了10分种加三十秒没向hadoop102发送心跳,NameNode则认为我这台机器挂掉了。以后Block不会存储在这个节点上了。但能不能恢复呢。是可以的。开启hadoop104并输入命令hdfs --daemon start datanode.

2. 数据的完整性

思考:如果电脑磁盘里面存储的数据是控制高铁信号灯的红灯信号(1)和绿灯信号(0).但是存储该数据的磁盘坏了,一直显示是绿灯,是否很危险呢?同理DataNode节点上的数据损坏了,但没有发现,是否也很危险呢?该如何解决呢?

如下是DataNode节点保证数据完整性的方法:

  • 当DataNode读取Block时,它会计算CheckSum校验和。
  • 如果计算后的校验和与Block创建的时候的值不一样,说明Block已经损坏。
  • Client读取其他DataNode上的Block。
  • 常见的校验算法crc(32),md5(128),shal(160).
  • DataNode在其文件创建后周期验证CheckSum。

3. DataNode掉线时参数设置

1. DataNode进程死亡或者网络故障造成DataNode无法与NameNode通信。

2. NameNode不会立即把该节点判定为死亡,要经过一段时间,这段时间暂停称作超时时长。

3. HDFS默认的超时时长为10分钟+30s。

如果定义超时时间为TimeOut,则超时时长的计算公式为:

TimeOut = 2*dfs.namenode.heartbeat.recheck-interval + 10*dfs.heartbeat.interval。

而默认的dfs.namenode.heartbeat.recheck-interval大小为5分钟,dfs.heartbeat.interval默认为3s。

绿色框框的表示2s前向NameNode发送心跳。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2119592.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

象过河在线进销存软件——简单、高效、智能,让生意更简单!

仓库管理,曾是我心中的一大“乱麻”——库存不清、数据混乱、出入库效率低... 但自从邂逅了【象过河在线进销存软件】,一切都变得那么简单、高效、智能! 象过河在线进销存软件优势: 1、界面简洁,流程简单 作为亲身体…

【时时三省】(C语言基础)指针进阶 例题4

山不在高,有仙则名。水不在深,有龙则灵。 ----CSDN 时时三省 strlen是求字符串长度 这个需要算上\0 第一个arr 是打印6 因为它加上\0是有六个元素 第二个arr0 数组名相当于首元素的地址 a的地址加0还是a的地址 所以这个地方还是…

Linux日志-kdump日志

作者介绍:简历上没有一个精通的运维工程师。希望大家多多关注作者,下面的思维导图也是预计更新的内容和当前进度(不定时更新)。 Linux 系统中的日志是记录系统活动和事件的重要工具,它们可以帮助管理员监视系统状态、调查问题以及了解系统运行…

IDEA Maven 源修改为国内阿里云镜像的正确方式

💝💝💝欢迎莅临我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。 推荐:「storm…

RT-Thread Nano版本在STM32F103RB上的快速移植

目录 概述 1 RT-Thread Nano 1.1 Nano版本介绍 1.2 RT-Thread Nano的特点 2 STM32Cube 创建工程 2.1 STM32Cub配置板卡参数 2.2 项目程序架构 3 移植RT-Thread 3.1 Keil IDE加载RT-Thread 3.2 解决上面两个ERROR 3.2.1 ERROR-1: 3.2.2 ERROR-2 3.3 移植FINSH 3.4…

数据结构与算法-morris遍历

morris遍历的优点在于节省空间,因为不需要递归。 public class MorrisTraversal {public static void main(String[] args) {Node head new Node(4);head.left new Node(2);head.right new Node(6);head.left.left new Node(1);head.left.right new Node(3);h…

实验二 局域网与互联网的连接

一、实验目的 1.掌握网络工程中网络拓扑设计与设备选型 2.掌握局域网与互联网的连接技术。 3.掌握访问控制规则的设置方法。 二、实验描述 某中学校园网网络初步规划如下:学生机房使用192.168.10.0/24网段;办公主机使用192.168.20.64/29网段&#x…

基于JAVA+SpringBoot+Vue的企业级工位管理系统

基于JAVASpringBootVue的企业级工位管理系统 前言 ✌全网粉丝20W,csdn特邀作者、博客专家、CSDN[新星计划]导师、java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末附源码下载链接🍅 …

C++之运算符

除法 / 结果的数据类型与除数 被除数 保持一致 (除数即分母 不能为0) 取模取余数 % (除数即分母 不能为0) a a 赋值运算符 逻辑运算符:非 与 或 非: 与:同真为真,其余为假 或&am…

大模型背后的秘密武器:向量数据库引领数据革命

在探讨为何向量数据库会成为大模型热潮中的基础设施之前,我们首先需要深入理解非结构化数据的本质、其迅猛增长的动因,以及这一趋势如何驱动了数据存储与检索技术的革新。随着人工智能(AI)技术的飞速发展,特别是在自然语言处理(NLP)、计算机视觉(CV)等领域的突破性进展…

.net 调用海康SDK实现NVR录像视频的下载

📢欢迎点赞 :👍 收藏 ⭐留言 📝 如有错误敬请指正,赐人玫瑰,手留余香!📢本文作者:由webmote 原创📢作者格言:新的征程,最近一直被测试拿捏,痛苦的挣扎中… 我们面对的不仅仅是技术还有人心,人心不可测,海水不可量,唯有技术,才是深沉黑夜中的一座闪烁的灯…

简单计算机网络概念

1.浏览器过程 输入url,解析url 1.协议http、https的区别;HTTPS就是在HTTP与TCP之间增加了SSL/TSL安全传输层 2.格式:协议//主机:端口/路径; 3.HTTP版本:1.0和1.1 4.HTTP/1.1:1. 持久连接:为了…

Windows子系统Ubuntu安装MySQL及windows的navicate连接

Windows子系统Ubuntu安装MySQL及局域网连接 MySQL8.0之前 mysql8.0版本

证件照背景替换软件有哪些?证照之星怎么换背景色

在照相馆拍的证件照不满意,自行在家拍摄了证件照,却不会处理复杂的照片背景怎么办呢?其实可以使用专业软件来替换证件照背景。这篇文章就告诉大家证件照背景替换软件有哪些,证件照背景替换怎么弄。 一、证件照背景替换软件有哪些…

4千6历年高考英语试题大全ACCESS\EXCEL数据库

《历年高#考英语试题大全ACCESS数据库》搜集了大量的全#国各#地高#考英语模拟试题,每道题目均有相应的答案和解析;这种数据虽然没有《一站到底》类的数据结构(一个选项一个字段)那么好,但是通过技术人员还是可以很简单…

基于SSM的图书馆管理系统的设计与实现 (含源码+sql+视频导入教程+文档+PPT)

👉文末查看项目功能视频演示获取源码sql脚本视频导入教程视频 1 、功能描述 基于SSM的图书馆管理系统7拥有两种角色:管理员和用户 管理员:图书管理、类型管理、借阅管理、续借管理、归还管理、罚金管理、留言管理等 学生用户:借…

前端速通面经八股系列(八)—— React篇(上)

React目录 一、组件基础1. React 事件机制2. React的事件和普通的HTML事件有什么不同?3. React 组件中怎么做事件代理?它的原理是什么?4. React 高阶组件、Render props、hooks 有什么区别,为什么要不断迭代5. 对React-Fiber的理解…

眼科市场格局固化,排名靠后的光正眼科还能逆袭吗?

眼科是A股的热门领域,也是医疗的黄金赛道。或许也正因为如此,这条赛道已经习惯了通过并购,利用资本杠杆跑马圈地。以最大规模的龙头爱尔眼科为首,并购是眼科的常规操作。 然而,真正观察赛道腰部及以下的公司&#xff…

十八、计算机视觉-canny边缘检测

文章目录 前言一、canny检测的流程1.高斯滤波(Gaussian Smoothing)2.梯度计算(Gradient Calculation)3.非极大值抑制(Non-maximum Suppression)4.双阈值检测(Double Thresholding)5.…

6、Flume安装

按照采集通道规划,需在hadoop102,hadoop104两台节点分别部署一个Flume。可参照以下步骤先在hadoop102安装,然后再进行分发。 1. Flume安装部署 1.1 安装地址 (1) Flume官网地址:Welcome to Apache Flume…