Hadoop3.3.1完全分布式部署

news2025/7/20 22:36:54

Hadoop目录

    • Hadoop3.3.1完全分布式部署(一)
      • 1、HDFS
    • 一、安装
      • 1、基础安装
        • 1.1、配置JDK-18
        • 1.2、下载并解压hadoop安装包
        • 本地运行模式测试 eg:
      • 2、完全分布式运行模式
        • 1、概要：
        • 2、编写集群分发脚本，把1~4步安装的同步到其他服务器：
          • 2.1、创建脚本`vim /var/opt/hadoopSoftware/hadoopScript/bin/xsync`，添加执行权限
          • 2.2、开始同步JDK、Hdoop、环境变量
        • 3、配置ssh免密
        • 4、配置xml
          • 4.1、集群部署规划如下：
          • 4.2、所需配置文件
          • 4.3、配置集群
            • 1）核心配置文件
            • 2）HDFS配置文件
            • 3）YARN配置文件
            • 4）MapReduce配置文件
        • 5、启动整个集群
          • 5.1、配置workers
          • 5.2、启动集群
          • 5.3、页面地址：
        • 6、集群测试
          • 6.1、上传文件到集群测试
          • 6.2、上传大文件测试
          • 6.3、hadoop集群测试
        • 7、集群崩溃处理
          • 1）先停止集群
          • 2）删除每个集群上的
          • 3）格式化集群
          • 4）启动集群
        • 8、配置历史服务器
          • 8.1、配置mapred-site.xml
          • 8.2、同步配置
          • 8.3、在hadoop1上启动历史服务器
          • 8.4、查看历史服务器是否启动
          • 8.5、查看JobHistory
        • 9、配置日志聚合功能
          • 1）配置yarn-site.xml
          • 2）同步配置
          • 3）关闭重启NodeManager、ResourceManager、HistoryServer
        • 10、集群启停总结：
          • 1、整体启动停止(推荐)
            • 1）整体启动、停止HDFS
            • 2）整体启动体制YARN
            • 3）启停historyserver
          • 2、各个服务组件分别启/停
            • 1）启/停HDFS组件
            • 2）启/停YARN组件
            • 3）启停historyserver
        • 11、编写Hadoop集群常用脚本
          • 1）批量启停`hadoop`服务
          • 2）查看所有服务器Java进程脚本：jpsall
        • 12、常用端口号
    • 参考网站

Hadoop3.3.1完全分布式部署(一)

Hadoop 是一种分析和处理大数据的软件平台，是一个用 Java 语言实现的 Apache 的开源软件框架，在大量计算机组成的集群中实现了对海量数据的分布式计算。
在这里插入图片描述

结构框架
在这里插入图片描述

推荐架构
在这里插入图片描述

1、HDFS

一个提供高可用的获取应用数据的分布式文件系统。

从字面上来看，SecondaryNameNode 很容易被当作是 NameNode 的备份节点，其实不然。可以通过下图看 HDFS 中 SecondaryNameNode 的作用。

在这里插入图片描述

NameNode主要是用来保存HDFS的元数据信息，比如命名空间信息，块信息等。当它运行的时候，这些信息是存在内存中的。但是这些信息也可以持久化到磁盘上。

fsimage - 它是在NameNode启动时对整个文件系统的快照
edit logs - 它是在NameNode启动后，对文件系统的改动序列

Secondary NameNode就是来帮助解决上述问题的，它的职责是合并NameNode的edit logs到fsimage文件中。

  • 它定时到NameNode去获取edit logs，并更新到自己的fsimage上。
  • 一旦它有了新的fsimage文件，它将其拷贝回NameNode中。
  • NameNode在下次重启时会使用这个新的fsimage文件，从而减少重启的时间。

一、安装

1、基础安装

$ yum install -y gcc vim wget
$ sudo yum install ssh
$ sudo yum install pdsh -y

1.1、配置JDK-18

JDK地址

安装参考

# JDK17
#wget https://download.oracle.com/java/17/archive/jdk-17_linux-x64_bin.tar.gz -P /var/opt/hadoopSoftware
# JDK19
#wget https://download.oracle.com/java/19/latest/jdk-19_linux-x64_bin.tar.gz -P /var/opt/hadoopSoftware

# JDK18(本文所选，但是需要ORACLE账号才可以下载)
tar -zxvf /var/opt/hadoopSoftware/jdk-8u361-linux-x64.tar.gz -C /var/opt/hadoopSoftware

在这里插入图片描述

配置环境变量，在profile.d下创建hadoop所需的环境变量

cat >> /etc/profile.d/my_env.sh <<Leo
# JAVA_HOME
export JAVA_HOME=/var/opt/software/jdk1.8.0_361
export PATH=\$PATH:\$JAVA_HOME/bin
Leo

使配置生效

source /etc/profile

1.2、下载并解压hadoop安装包

wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz -P /var/opt/hadoopSoftware
tar -zvxf /var/opt/hadoopSoftware/hadoop-3.3.1.tar.gz -C /var/opt/hadoopSoftware

配置环境变量

cat >> /etc/profile.d/my_env.sh <<Leo
# HADOOP_HOME
export HADOOP_HOME=/var/opt/hadoopSoftware/hadoop-3.3.1
export PATH=\$PATH:\$HADOOP_HOME/bin
export PATH=\$PATH:\$HADOOP_HOME/sbin
# Hadoop run need add
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
Leo

生效

source /etc/profile
  • 查看配置的全局环境变量 echo $PATH

hadoop目录介绍

bin：和hdfs yarn mapred
sbin：启动停止相关的命令
share：一些参考

(Hadoop参考)
官网

在这里插入图片描述

本地运行模式测试 eg:

mkdir -p /var/opt/hadoopSoftware/hadoop-3.3.1/tinput
cat >> /var/opt/hadoopSoftware/hadoop-3.3.1/tinput/word.txt <<Leo
aa
bb
cc
cc
Leo

测试计算每个单词出现的次数（输入路径：tinput/ 输出路径：./timport）

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount tinput/ ./toutput

toutput]# cat part-r-00000
aa      1
bb      1
cc      2

2、完全分布式运行模式

1、概要：

前提：
1、准备三台server（关闭防火墙、静态ip、主机名）
2、安装JDK
3、安装Hadoop
4、配置环境变量
所需其他配置：
5、配置集群
6、单点启动
7、配置ssh
8、测试集群

2、编写集群分发脚本，把1~4步安装的同步到其他服务器：

mkdir -p /var/opt/hadoopSoftware/hadoopScript/bin
mkdir -p /var/opt/hadoopSoftware/hadoopScript/config

创建需要同步的服务器地址

cat /var/opt/hadoopSoftware/hadoopScript/config/hadoop_hosts
hadoop2
hadoop3
2.1、创建脚本vim /var/opt/hadoopSoftware/hadoopScript/bin/xsync，添加执行权限
#!/bin/bash

# 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Argument!
    exit;
fi

# 遍历所有的服务器
#for host in hadoop1 hadoop2 hadoop3
for host in `cat /var/opt/hadoopSoftware/hadoopScript/config/hadoop_hosts`
do
    echo =======================$host=======================
    # 遍历所有目录
    for file in $@
    do
        # 判断文件是否存在
        if [ -e $file ]
            then
                # 获取父目录名，例如有软连接他会cd到真正的数据目录
                pdir=$(cd -P $(dirname $file); pwd)
                # 获取当前文件名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file dose not exists!
        fi
    done
done

目前xsync只能同步当前目录下的文件，用法xsync bin/，如果同步根目录需要写xsync脚本的绝对路径/var/opt/hadoopSoftware/hadoopScript/bin/xsync

2.2、开始同步JDK、Hdoop、环境变量

2.2.1、开始同步(选用)：

# 全局调用使用绝对路径
sudo /var/opt/hadoopSoftware/hadoopScript/bin/xsync /var/opt/hadoopSoftware
sudo /var/opt/hadoopSoftware/hadoopScript/bin/xsync /etc/profile.d/my_env.sh
  • 注：每台服务器都需要重新刷新环境变量source /etc/profile(根据自身需求，后期可以使用ansible-playbook)

2.2.2、配置环境变量同步(本文选用如下方法)：

或：如果想要应用这个脚本到全局可以进行如下环境变量设置（根据自身情况进行设置，仅参考）：

cat >> /etc/profile.d/my_env.sh <<Leo
# hadoopScript_home
export HSCRIPT_HOME=/var/opt/hadoopSoftware/hadoopScript
export PATH=$PATH:$HSCRIPT_HOME/bin
Leo

同步开始：

xsync /var/opt/hadoopSoftware
xsync /etc/profile.d/my_env.sh

3、配置ssh免密

参考配置

配置hadoop1和hadoop2免密登录hadoop[1,2,3]

4、配置xml

官网参考：[Apache Hadoop 3.3.4 – Hadoop Cluster Setup]

4.1、集群部署规划如下：
hadoop1hadoop2hadoop3
HDFSNameNode
DataNode		DataNodeSecondaryNameNode
DataNode
YARNNodeManagerNodeManager
ResourceManager		NodeManager

注：NameNode、 NodeManager、 SecondaryNameNode最好放在不同的服务器上。

4.2、所需配置文件

1）默认配置文件：

默认文件名文件存放路径（cd $HADOOP_HOME）
core-default.xml$HADOOP_HOME/share/doc/hadoop/hadoop-project-dist/hadoop-common/core-default.xml
hdfs-default.xml$HADOOP_HOME/share/doc/hadoop/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
yarn-default.xml$HADOOP_HOME/share/doc/hadoop/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
mapred-default.xml$HADOOP_HOME/share/doc/hadoop/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

2）自定义配置文件：

文件位置$HADOOP_HOME/etc/hadoop

  • core-site.xml
  • hdfs-site.xml
  • yarn-site.xml
  • mapred-site.xml
4.3、配置集群
1）核心配置文件
cat $HADOOP_HOME/etc/hadoop/core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定NameNode地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1:8082</value>
    </property>
    
    <!-- 指定hadoop数据存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/opt/hadoopSoftware/hadoop-3.3.1/data</value>
    </property>
    
    <!-- 配置hadoop网页登录使用的静态用户为leojiang -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
    </property>
</configuration>
2）HDFS配置文件
cat $HADOOP_HOME/etc/hadoop/hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->

<configuration>
    <!-- nn web 端访问地址 -->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop1:9870</value>
    </property>
    
    <!-- 2nn web 端访问地址 -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop3</value>
    </property>
    
    <property>
        <name>dfs.datanode.http.address</name>
        <value>0.0.0.0:9864</value>
        <description>
            The datanode http server address and port.
        </description>
    </property>
    <!-- 如果为true(默认值)，则namenode要求连接datanode的地址必须解析为主机名。如有必要，将执行反向DNS查找。所有从不可解析地址注册datanode的尝试都将被拒绝。建议保留该设置，以防止在DNS中断期间意外注册由excluded文件中hostname列出的datanode。只有在没有基础设施支持反向DNS查找的环境中，才将此设置为false。-->
    <!--
    <property>
      <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
      <value>false</value>
    </property>
    -->
    
</configuration>
3）YARN配置文件
cat $HADOOP_HOME/etc/hadoop/yarn-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定MR走shutffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    
    <!-- 指定ResourceManager的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop2</value>
    </property>
    
    <!-- 环境变量的继承 3.1.3需要配置HADOOP_MAPRED_HOME。3.2以上修复了就不用配置了-->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    
    
</configuration>
4）MapReduce配置文件
cat $HADOOP_HOME/etc/hadoop/mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

</configuration>

修改完成后同步到所有服务器

xsync $HADOOP_HOME/etc/hadoop

5、启动整个集群

5.1、配置workers
# 注意： 不允许有任何空格、空行
vim $HADOOP_HOME/etc/hadoop/workers
hadoop1
hadoop2
hadoop3

同步文件到所有服务器

xsync $HADOOP_HOME/etc/hadoop/workers
5.2、启动集群

前提添加写权限否则会出现namenode无法启动的状况

chmod -R a+w $HADOOP_HOME

1、初始化文件系统（第一次运行，格式化集群）

hadoop1 $ hdfs namenode -format

可以查看下生成的版本号

cat $HADOOP_HOME/data/dfs/name/current/VERSION

2、启动集群NameNode和DataNode守护进程:

启动：

hadoop1 $ $HADOOP_HOME/sbin/start-dfs.sh

查看启动的服务jps

3、启动ResourceManager （注意要在ResourceManager 的服务器上启动）

hadoop2 $ $HADOOP_HOME/sbin/start-yarn.sh
5.3、页面地址：
# hdfs的NameNode
http://hadoop1:9870

# YARN的ResourceManager
http://hadoop2:8088

6、集群测试

6.1、上传文件到集群测试
# 先在hadoop上创建目录
hadoop fs -mkdir /tinput

# 上传…….txt文件
hadoop fs -put tinput/word.txt /tinput

在这里插入图片描述

6.2、上传大文件测试
hadoop fs -put ../jdk-8u361-linux-x64.tar.gz /tinput

数据在datanode下存储

# 查看datanode存储的数据可以使用如下方式还原，每一台服务器存储的都一样
cd data/dfs/data/current/BP-12……/current/finalized/subdir0/subdir0/blk……/……

# word.txt
cat blk_1073741825

# 还原 jdk-8u361-linux-x64.tar.gz
cat blk_1073741826 >>tmp.tar.gz
cat blk_1073741827 >>tmp.tar.gz
# 解压后可以发现这个就是我们之前导入的jdk压缩包
tar -zxvf tmp.tar.gz
6.3、hadoop集群测试
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount /tinput /toutput

在这里插入图片描述

7、集群崩溃处理

1）先停止集群
hadoop2 $ $HADOOP_HOME/sbin/stop-yarn.sh
hadoop1 $ $HADOOP_HOME/sbin/stop-dfs.sh
2）删除每个集群上的
rm -rf $HADOOP_HOME/data/ $HADOOP_HOME/logs/
3）格式化集群
hadoop1 $ hdfs namenode -format
4）启动集群
hadoop1 $ $HADOOP_HOME/sbin/start-dfs.sh
hadoop2 $ $HADOOP_HOME/sbin/start-yarn.sh

8、配置历史服务器

8.1、配置mapred-site.xml

文件中添加如下配置

hadoop1$ vim $HADOOP_HOME/etc/hadoop/mapred-site.xml

<configuration>
    <!-- 配置历史服务器端地址 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop1:10020</value>
    </property>
    
    <!-- 配置历史服务web端地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop1:10888</value>
    </property>
</configuration>
8.2、同步配置
hadoop1 $ xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml
8.3、在hadoop1上启动历史服务器

如果yarn启动需要关闭重启yarn

hadoop2 $ $HADOOP_HOME/sbin/stop-yarn.sh
hadoop2 $ $HADOOP_HOME/sbin/start-yarn.sh

启动历史服务器

hadoop1 $ mapred --daemon start historyserver
8.4、查看历史服务器是否启动
hadoop1 $ jps
8.5、查看JobHistory
# 先在hadoop上创建目录
hadoop fs -mkdir /tinput

# 上传…….txt文件
hadoop fs -put tinput/word.txt /tinput

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount /tinput /toutput2

9、配置日志聚合功能

功能：将程序运行日志信息上传到HDFS系统上

  • 注：开启日志聚合功能，需要重启NodeManager、ResourceManager、HistoryServer。

在这里插入图片描述

1）配置yarn-site.xml
hadoop1 $ vim $HADOOP_HOME/etc/hadoop/yarn-site.xml

<configuration>
    <!-- 开启日志聚合功能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    
    <!-- 设置日志聚合服务器地址 -->
    <property>
        <name>yarn.log.server.url</name>
        <value>http://hadoop1:19888/jobhistory/logs</value>
    </property>
    
    <!-- 设置日志保留时间为7天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
</configuration>
2）同步配置
hadoop1 $ xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml
3）关闭重启NodeManager、ResourceManager、HistoryServer

关闭

hadoop1 $ mapred --daemon stop historyserver
hadoop2 $ $HADOOP_HOME/sbin/stop-yarn.sh

重启

hadoop2 $ $HADOOP_HOME/sbin/start-yarn.sh
hadoop1 $ mapred --daemon start historyserver

10、集群启停总结：

1、整体启动停止(推荐)
1）整体启动、停止HDFS
hadoop1 $ $HADOOP_HOME/sbin/stop-dfs.sh

hadoop1 $ $HADOOP_HOME/sbin/start-dfs.sh
2）整体启动体制YARN
hadoop2 $ $HADOOP_HOME/sbin/stop-yarn.sh

hadoop2 $ $HADOOP_HOME/sbin/start-yarn.sh
3）启停historyserver
hadoop1 $ $HADOOP_HOME/bin/mapred --daemon stop historyserver

hadoop1 $ mapred --daemon start historyserver
2、各个服务组件分别启/停
1）启/停HDFS组件
[hdfs]$ $HADOOP_HOME/bin/hdfs --daemon stop namenode
[hdfs]$ $HADOOP_HOME/bin/hdfs --daemon stop datanode

[hdfs]$ $HADOOP_HOME/bin/hdfs --daemon start namenode
[hdfs]$ $HADOOP_HOME/bin/hdfs --daemon start datanode
2）启/停YARN组件
[yarn]$ $HADOOP_HOME/bin/yarn --daemon stop resourcemanager
[yarn]$ $HADOOP_HOME/bin/yarn --daemon stop nodemanager

[yarn]$ $HADOOP_HOME/bin/yarn --daemon start resourcemanager
[yarn]$ $HADOOP_HOME/bin/yarn --daemon start nodemanager
3）启停historyserver
[mapred]$ $HADOOP_HOME/bin/mapred --daemon stop historyserver

[mapred]$ $HADOOP_HOME/bin/mapred --daemon start historyserver

11、编写Hadoop集群常用脚本

1）批量启停hadoop服务
hadoop1 $ vim $HSCRIPT_HOME/bin/myhadoop

cat myhadoop

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
    
fi

case $1 in
"start")
        echo "=============== 启动 hadoop 集群 ==============="
        echo "--------------- 启动 hdfs ---------------"
        ssh hadoop1 "$HADOOP_HOME/sbin/start-dfs.sh"
        echo "--------------- 启动 yarn ---------------"
        ssh hadoop2 "$HADOOP_HOME/sbin/start-yarn.sh"
        echo "--------------- 启动 historyserver ---------------"
        ssh hadoop1 "$HADOOP_HOME/bin/mapred --daemon start historyserver"
;;
"stop")
        echo "=============== Shutdown hadoop 集群 ==============="
        echo "--------------- 停止 historyserver ---------------"
        ssh hadoop1 "$HADOOP_HOME/bin/mapred --daemon stop historyserver"   
        echo "--------------- 停止 yarn ---------------"
        ssh hadoop2 "$HADOOP_HOME/sbin/stop-yarn.sh"
        echo "--------------- 停止 hdfs ---------------"
        ssh hadoop1 "$HADOOP_HOME/sbin/stop-dfs.sh"
;;
*)
        echo "Input Args Error.."
;;
esac

使用：

# 赋权
hadoop1 $ chmod +x $HSCRIPT_HOME/bin/myhadoop

# 启动
hadoop1 $ myhadoop start
# 停止
hadoop1 $ myhadoop stop
2）查看所有服务器Java进程脚本：jpsall
hadoop1 $ vim $HSCRIPT_HOME/bin/jpsall

创建所需查看服务器的host地址

cat /var/opt/hadoopSoftware/hadoopScript/config/all_hadoop_hosts
hadoop1
hadoop2
hadoop3

cat jpsall

#!/bin/bash

for host in `cat /var/opt/hadoopSoftware/hadoopScript/config/all_hadoop_hosts`
do
    echo ======== $host ========
    ssh $host jps
    echo -e "\n"
done

运行：

# 赋权
hadoop1 $ chmod +x $HSCRIPT_HOME/bin/jpsall

# 执行检查
hadoop1 $ jpsall

12、常用端口号

端口名称Hadoop3.x
NameNode 内部通信端口8020、9000、9820
NameNode HTTP UI9870
MapReduce 查看执行任务端口8088
历史服务器通信端口19888

参考网站

Hadoop官网：http://hadoop.apache.org/
Hadoop下载：https://www.apache.org/dyn/closer.cgi/hadoop/common/

Hadoop历史版本下载：http://archive.apache.org/dist/hadoop/core/
Hadoop文档：http://hadoop.apache.org/docs/

Hive官网：http://hive.apache.org/
Hive下载：http://mirror.bit.edu.cn/apache/hive/

Hive历史版本下载：http://archive.apache.org/dist/hive/
Hive文档：https://cwiki.apache.org/confluence/display/Hive

HBase官网：http://hbase.apache.org/
HBase下载：http://mirrors.sonic.net/apache/hbase/

HBase历史版本下载：http://archive.apache.org/dist/hbase/
HBase文档：http://hbase.apache.org/book.html
HBase中文文档：http://abloz.com/hbase/book.html

Spark官网：http://spark.apache.org/
Spark下载：http://spark.apache.org/downloads.html
Spark文档：http://spark.apache.org/docs/latest/

Zookeeper官网：http://zookeeper.apache.org/
Zookeeper下载：http://zookeeper.apache.org/releases.html#download

Flume官网：http://flume.apache.org/
Flume下载：http://flume.apache.org/download.html
Flume文档：http://flume.apache.org/documentation.html

Mahout官网：http://mahout.apache.org/
Mahout下载：http://mahout.apache.org/general/downloads.html

Tez官网：http://tez.apache.org/

cdh5版本：

下载地址：http://archive.cloudera.com/cdh5/cdh/5/
文档地址：http://archive.cloudera.com/cdh5/cdh/5/

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/368674.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Tailwind CSS 在Vue中的使用

Tailwind CSS 在Vue中的使用

什么是Tailwind CSS&#xff1f; Tailwind CSS 是一个功能类优先的 CSS 框架&#xff0c;它集成了诸如 flex, pt-4, text-center 和 rotate-90 这样的的类&#xff0c;支持 hover 和 focus 样式&#xff0c;它们能直接在脚本标记语言中组合起来&#xff0c;构建出任何设计。 …
阅读更多...
【算法基础】 Trie树

【算法基础】 Trie树

一、Trie树Trie树用于高效存储和查找字符串集合的数据结构。二、Trie字符串统计维护一个字符串集合&#xff0c;支持两种操作&#xff1a;I x 向集合中插入一个字符串 x&#xff1b;Q x 询问一个字符串在集合中出现了多少次。共有 N&#xfffd;个操作&#xff0c;所有输入的字…
阅读更多...
c#前端实现对pcl点云颜色根据强度特征动态变化突出指定对象

c#前端实现对pcl点云颜色根据强度特征动态变化突出指定对象

前言 本文主要介绍如何使用c# winform对点云颜色根据点云强度信息对显示的点云颜色进行动态调整。 目的是根据强度信息采用不同的颜色特征突出不同的物体。 一、点云强度是什么&#xff1f; 点云强度又可以叫做反射率&#xff0c; 通常常见的点云格式包括&#xff1a;以pcl为…
阅读更多...
SpringBoot可以同时处理多少请求？

SpringBoot可以同时处理多少请求？

本文已收录至我的Github仓库DayDayUP&#xff1a;github.com/RobodLee/DayDayUP&#xff0c;欢迎Star ⭐⭐⭐⭐⭐转载请注明出处&#xff1a;https://blog.csdn.net/weixin_43461520/article/details/129207427 前言 前两天面试的时候&#xff0c;面试官问我&#xff1a;一个i…
阅读更多...
【拿好了！Linux 运维必备的 13 款实用工具！】

【拿好了！Linux 运维必备的 13 款实用工具！】

​本文介绍几款 Linux 运维比较实用的工具&#xff0c;希望对 Linux 运维人员有所帮助。 查看进程占用带宽情况 – Nethogs Nethogs 是一个终端下的网络流量监控工具可以直观的显示每个进程占用的带宽。 下载&#xff1a; http://sourceforge.net/projects/nethogs/files/ne…
阅读更多...
NPDP认证|产品研发过程中，产生冲突怎么办？

NPDP认证|产品研发过程中，产生冲突怎么办？

随着传统行业在研发过程中牵涉到很多利益相关方,这些相关方在产品研发过程中关注角度的不同,会产生各种各样的矛盾冲突&#xff0c;如研发与产品的冲突、运营与产品的冲突、客户与产品的冲突&#xff0c;那么产生冲突的原因是什么呢&#xff1f; 产生冲突的原因&#xff1f; 1…
阅读更多...
Redis：实现全局唯一ID

Redis：实现全局唯一ID

Redis&#xff1a;实现全局唯一ID一. 概述二. 实现&#xff08;1&#xff09;获取初始时间戳&#xff08;2&#xff09;生成全局ID三. 测试为什么可以实现全局唯一&#xff1f;其他唯一ID策略补充&#xff1a;countDownLatch一. 概述 全局ID生成器&#xff1a;是一种在【分布式…
阅读更多...
墨天轮发布数据库行业报告，创邻科技Galaxybase大放异彩

墨天轮发布数据库行业报告，创邻科技Galaxybase大放异彩

近日&#xff0c;知名数据库社区墨天轮发布《2022中国数据库行业年度分析报告》&#xff0c;该报告由墨天轮联合业界专家学者共同编写&#xff0c;共122页&#xff0c;详细总结了2022年数据库行业产学研用的发展近况、挑战以及对未来趋势的展望。旨在于给数据库行业带来有价值的…
阅读更多...
Hadoop命令大全

Hadoop命令大全

HDFS分布式文件系统 &#xff0c; 将一个大的文件拆分成多个小文件存储在多台服务器中 文件系统&#xff1a; 目录结构&#xff08;树状结构&#xff09; "/" 树根&#xff0c; 目录结构在namenode中维护 目录 1.查看当前目录 2.创建多级目录 3.上传文件 4.查…
阅读更多...
狂神说：面向对象（二）

狂神说：面向对象（二）

一、创建与初始化对象new分配内存空间、默认初始化、构造器调用二、构造器特点&#xff1a;1. 没有返回值 2. 方法名与类名相同类里面啥都没写的时候&#xff0c;new一个这个类对象&#xff0c;java会生成一个默认构造函数&#xff08;构造器&#xff09;&#xff1a;构造器核心…
阅读更多...
公司新招了个腾讯５年经验的测试员，让我见识到什么才是真正的测试天花板····

公司新招了个腾讯５年经验的测试员，让我见识到什么才是真正的测试天花板····

5年测试&#xff0c;应该是能达到资深测试的水准&#xff0c;即不仅能熟练地开发业务&#xff0c;而且还能熟悉项目开发&#xff0c;测试&#xff0c;调试和发布的流程&#xff0c;而且还应该能全面掌握数据库等方面的技能&#xff0c;如果技能再高些的话&#xff0c;甚至熟悉分…
阅读更多...
Qt 进程间通信

Qt 进程间通信

Qt进程间通信的方法&#xff1a; TCP/IPLocal Server/Socket共享内存D-Bus &#xff08;Unix库&#xff09;QProcess会话管理 TCP/IP &#xff1a; 使用套接字的方式&#xff0c;进行通信&#xff08;之前介绍了&#xff0c;这里就不介绍了&#xff09;。 Local Server/Socket…
阅读更多...
智能家居之主机--驱动层搭建

智能家居之主机--驱动层搭建

智能家居之主机--驱动层搭建bsp-底层驱动bsp_gpiobsp_adcbsp_uartbsp_timer伪调度bsp-底层驱动 bsp_gpio 利用一个config.h的配置文件&#xff0c;把所有要使用的gpio的属性配置好&#xff0c;这样有一个好处&#xff0c;比较集中&#xff0c;也比较好查&#xff0c;不需要一个…
阅读更多...
fp32/fp64精度，4/8字节16进制转float/double十进制

fp32/fp64精度，4/8字节16进制转float/double十进制

1、IEEE-754 32位单精度浮点数&#xff08;4字节&#xff09; 1.1 32位单精度浮点数 其中&#xff0c; 32位16进制数包括1位符号位(SIGN)&#xff0c;8位指数位(EXPONENT)和 23位尾数位(MANTISSA)。 例如&#xff1a; 25.3可以表示为41CA6666&#xff08;0x41为高字节&#xf…
阅读更多...
算法第十六期——动态规划(DP)之线性DP

算法第十六期——动态规划(DP)之线性DP

【概述】 线性动态规划&#xff0c;是较常见的一类动态规划问题&#xff0c;其是在线性结构上进行状态转移&#xff0c;这类问题不像背包问题、区间DP等有固定的模板。 线性动态规划的目标函数为特定变量的线性函数&#xff0c;约束是这些变量的线性不等式或等式&#xff0c;目…
阅读更多...
Mysql中关于查询日志的配置详解

Mysql中关于查询日志的配置详解

查询日志 MySQL中的查询日志保存在文本文件中&#xff0c;能够记录MySQL中的所有数据操作。 开启查询日志 MySQL默认情况下没有开启查询日志&#xff0c;如果需要开启查询日志&#xff0c;则需要在 my.cnf 文件或者 my.ini 文件的 [mysqld] 选项下进行配置。例如&#xff0c;…
阅读更多...
GoFrame工程目录设计介绍

GoFrame工程目录设计介绍

GoFrame框架针对业务项目的目录设计&#xff0c;主体的思想来源于三层架构&#xff0c;但在具体实现中&#xff0c;对其进行了一定的改进和细化使其更符合工程实践和时代进步。 一.工程目录结构 GoFrame业务项目基本目录结构如下&#xff1a; 二.目录结构解释 对外接口 对…
阅读更多...
浅谈智能电力运维管理系统在物业小区的应用分析

浅谈智能电力运维管理系统在物业小区的应用分析

安科瑞 李亚俊 0引言 由于部分住宅小区存在电力设施纸质档案破损缺失、产权分界不清、查找故障点所在箱变&#xff08;箱式变电站&#xff0c;下同&#xff09;位置困难或小区出入口路径不明等情况&#xff0c;影响了抢修效率。为此&#xff0c;国网辽宁沈阳市沈北新区供电公…
阅读更多...
IDEA Maven install Failed to execute goal org.apache.maven.plugins异常处理

IDEA Maven install Failed to execute goal org.apache.maven.plugins异常处理

目录一、异常错误二、原因三、解决方法修改pom.xml资源配置文件一、异常错误 由于服务器编译拦截了静态资源&#xff0c;导致出现异常&#xff0c;需要重新打包编译 打开IDEA带的Maven管理&#xff0c;双击clean清除由项目编译创建的target 再双击install安装jar包到本地仓库…
阅读更多...
朴素贝叶斯笔记

朴素贝叶斯笔记

贝叶斯公式在A 条件成立下&#xff0c;B的概率等于B的概率*在B条件成立下&#xff0c;A的概率/A的概率&#xff0c;推导假设一个学校中男生占总数的60%&#xff0c;女生占总数的40%。并且男生总是穿长裤&#xff0c;女生则一半穿长裤、一半穿裙子。1.正向概率。随机选取一个学生…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023