(大数据开发随笔8)Hadoop 3.3.x分布式环境部署——补充知识

news2025/6/17 14:29:07

索引

      • 克隆虚拟机
      • SSH免密登录
        • ssh简介
        • 免密登录
      • scp命令
      • 时间同步

克隆虚拟机

  • 克隆:注意要分开放置三个虚拟机的位置

  • 修改克隆机的ip地址

    • vi /etc/sysconfig/network-scripts/ifcfg-ens33——IPADDR
    • 重启网络 systemctl restart network
    • ip addr 查看ip地址
  • 修改克隆机的主机名

    • hostname 主机名2
    • hostnamectl set-hostname 主机名2
  • 修改域名映射文件

    • vi /etc/hosts
    192.168.211.101 lanr
    192.168.211.102 lanr2
    192.168.211.103 lanr3
    

SSH免密登录

ssh简介

  • ssh 用户名@主机ip

  • 当域名映射文件中表明时,可以用主机名代替主机ip:ssh 用户名@主机名

  • 当远程登录的用户名与当前用户名相同时,可以直接写ssh 主机名

免密登录

  • 实现从 主机名 登录到 主机名2 无需密码

  • ssh-copy-id 主机名2(由于是主机2和3克隆自1的所以无需执行也可以)

  • 实际上每个主机都要重复 生成密钥-传递密钥 的过程

scp命令

  • 远程拷贝
  • 命令格式:scp [-r] file 远程用户名@远程服务器:目标路径
    • -r 表示拷贝的时文件夹
    • 目标路径要从根目录/开始写
    • 当目标路径和当前所在路径一致,则可以用 $PWD 代替目标路径

时间同步

  • yum install -y ntpdate

  • ntpdate -u ntp.aliyun.com

  • 问题:若挂起虚拟机,则时间会暂停,下次打开虚拟机时,时间又不同步了

  • 解决:

    • 方案一:编写定时任务

      • crontab -e,三个机器分别写入如下:
      * * * * * /usr/sbin/ntpdate -u ntp.aliyun.com > /dev/null 2>&1 # 将正确日志打入消息黑洞,错误日志保留
      
    • 方案二:自定义时间服务器

      • 若集群没有联网,则可以自己搭建一个时间服务器,让集群中所有机器都同步局域网内的时间服务器

      • 选择集群中的某一台机器作为时间服务器;保证这台服务器安装了ntp.x86_64;保证ntpd服务运行

      • yum install -y ntp

      • vim /etc/ntp.conf

      • 添加集群中的网络段位:将restrict 192.168.{你的网段}.0 mask 255.255.255.0 nomodify notrap 添加至文件,并将server 0、1、2、3 注释,添加 server 127.127.1.1

      • 启动服务:systemctl start ntpdsystemctl status ntpd 查看状态

      • 切换至其他服务器,运行:ntpdate -u 主机名

        image-20230315103101635

      • crontab -e,修改需要同步的主机

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/411906.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【STM32学习】直接存储器访问——DMA

【STM32学习】直接存储器访问——DMA零、参考一、对DMA的理解二、DMA通道优先级三、DMA通道x传输数量寄存器(DMA_CNDTRx)四、DMA缓冲区设计零、参考 一个严谨的STM32串口DMA发送&接收(1.5Mbps波特率)机制 【组件】通用环形缓冲区模块 上述是我的参考…

ServletContext 对象

1.共享数据 ServletContext 对象 先调用对象,获取对象,往里面存数据 package com.kuang.servlet;import javax.servlet.ServletContext; import javax.servlet.ServletException; import javax.servlet.http.HttpServlet; import javax.servlet.http.…

Pandas.read_excel详解

文章目录基础知识语法参数详解-index_col参数详解-header参数详解-usecols参数详解-dtype其他参数多表读取顺带提一句如何用pandas写数据到excel基础知识 pandas 可以读取多种的数据格式,针对excel来说,可以使用read_excel()读取数据,如下&a…

实现在SpringBoot项目中使用腾讯云发送短信

在一些项目中总会不可避免的要用到短信服务,比如发送验证码等,那么如何进行短信的发送呢,我们这就来捋一捋,我这里采用的是腾讯云的短信服务。其他的云服务也大致一样。 第一步、申请腾讯云的短信服务并配置基本信息 首先进入腾讯…

2023年Q1京东大家电销售数据分析(京东行业大盘销量查询)

2023年第一季度,大家电线上市场的涨势有点放缓,相较于去年的涨幅,今年有收敛不少。下面,我们以京东平台的数据作为线上市场表现的参考。 根据鲸参谋数据显示,今年Q1季度大家电在京东的累计销量超过1600万件&#xff0c…

FE_CSS 页面布局之盒子模型 边框 内外边距

1 盒子模型(Box Model)组成 所谓 盒子模型:就是把 HTML 页面中的布局元素看作是一个矩形的盒子,也就是一个盛装内容的容器。 CSS 盒子模型本质上是一个盒子,封装周围的 HTML 元素,它包括:边框、…

用户体验设计之记忆(Memory)

🔥人类记忆的基础 记忆是能够记住过去的经历,以及回忆和唤起它们去影响当下的能力 记忆是由encoding(把外界刺激进入大脑转换成可以记忆的格式)、storage(在大脑中开辟存储记忆的空间)、retrieval&#x…

C语言文件操作复习回顾(1)

关于流,内存数据读写铺垫的复习 打开一个文件 -> 内存里面就会创建一个对应关联的文件信息区 -> 文件信息区其实就是一个FILE类型的结构体 -> 各个结构体成员记录了该文件的种种信息 -> 结构体(文件信息区)由FILE* 结构体指针来维护 -> 有了指针&am…

Linux -- 基础IO

文章目录1. 基础认识2. 回顾C文件接口2.1 现象一2.2 现象二2.3 fprintf()函数回顾2.4 fnprintf()函数使用2.5 "a"模式3. 系统接口3.1 open()和close()3.2 write()3.3 read()3.4 C文件接口和系统接口关系3.5 文件描述符3.6 深度理解Linux下一切皆文件3.7 FILE是什么3.…

OpenAI的ChatGPT迭代速度超乎想象

OpenAI的ChatGPT迭代速度超乎想象,被谷歌聊天机器人Bard 嘲笑“家里不通网”后,OpenAI一个鲤鱼打挺甩出“实时联网”方案。 美西时间3月23日,OpenAI宣布推出ChatGPT Plugins(插件集),赋予ChatGPT实时更新、…

chatGPT文章生成插件-用chatGPT写文章接入网站

chatGPT文章生成插件 ChatGPT是一种强大的自然语言生成技术,可以用于生成文章、文本摘要、对话生成、语言翻译等多种应用场景。在实际应用中,可以使用一些插件来实现ChatGPT的文章生成功能,以下是一些可能有用的插件介绍: AI Wri…

【CSS】实现梯形

简单说一下背景,就是需要实现一个展开收起的按钮。 那我第一个想到的方法,可不就是border自己画嘛。 1、border边框 width: 150px; border-top: 50px solid red; // 梯形的高 border-right: 50px solid transparent; // 往右延伸 border-bottom: 50px …

75-网络二(网络分层模型)

网络二二.网络分层模型1.网络协议(1)什么是网络协议(2)常见的协议2.OSI的7层模型与tcp/ip协议族体系4层结构(1)数据链路层(2)网络层(3)传输层(4)应用层3.为什么要分层?三.网络应用程序的通信流程网络一见:网络一 二.网络分层模型 1.网络协议 (1)什么是网络协议 网络协议就…

Python 小型项目大全 76~81

七十六、井字棋 原文:http://inventwithpython.com/bigbookpython/project76.html 井字棋是一种在3 3网格上玩的经典纸笔游戏。玩家轮流放置 X 或 O 标记,试图连续获得三个。大多数井字棋都以平局告终,但如果你的对手不小心,你也…

Three.js教程:顶点位置数据解析渲染

推荐:将NSDT场景编辑器加入你3D工具链其他工具系列:NSDT简石数字孪生顶点位置数据解析渲染 如果你没有WebGL基础,可以先不用记忆每个的threejs 具体内容,有一个大致印象即可,学习本节课的重点是建立顶点的概念。如果你…

Reactor设计模式

一、Reactor设计模式 1、什么是Reactor设计模式? Reactor模式是高性能I/O设计中,常用的设计模式。其中心思想是将所有要处理的I/O事件注册到一个中心I/O多路复用器上,同时主线程阻塞在多路复用器上,一旦有I/O事件到来或是准备就绪…

C++ 继承:概念定义、对象的赋值转换、继承作用域及派生类的默认成员函数

目录 一. 继承的概念和定义 1.1 继承的概念 1.2 继承的定义格式 1.3 继承关系和访问限定符 二. 基类和派生类对象的之间的赋值转换 三. 继承体系中的作用域 四. 派生类的默认成员函数 4.1 构造函数 4.2 拷贝构造函数 4.3 赋值运算符重载函数 4.4 析构函数 4.5 取地…

linux服务器禁止ping命令,linux服务器禁ping如何解除

linux服务器禁止ping命令,linux服务器禁ping如何解除 我是艾西,在我们搭建网站或做某些程序时,不少人会问禁ping是什么意思,怎么操作的对于业务有哪些好处等,今天艾西一次给你们说清楚。 禁PING的意思是:不…

相对全面的四足机器人驱动规划MATLAB和Simulink实现方式(足端摆线规划,Hopf-CPG,Kimura-CPG)

许久没更新四足机器人相关的博客文章,由于去年一整年都在干各种各样的~活,终于把硕士毕业论文给写好,才有点时间更新自己的所学和感悟。步态规划和足端规划只是为了在运动学层面获取四足机器人各关节的期望角位移和速度信号,再由底…

力扣---两数相加(c语言版)

🎈个人主页:🎈 :✨✨✨初阶牛✨✨✨ 🐻推荐专栏: 🍔🍟🌯 c语言初阶 🔑个人信条: 🌵知行合一 🍉本篇简介:>:记录一个力扣写了好久的一个问题 金句分享: ✨在心里种花,人…