Hadoop 全套常用 Shell 命令完整版分为 HDFS 文件操作、YARN 任务管理、集群查看、本地启动关闭、常用运维命令面试、日常开发直接背直接用。一、HDFS 基础操作命令1. 查看 HDFS 目录bash运行hdfs dfs -ls / hdfs dfs -ls -R / # 递归查看所有目录2. 创建文件夹bash运行hdfs dfs -mkdir /test hdfs dfs -mkdir -p /a/b/c # 递归创建多级目录3. 上传文件本地 → HDFSbash运行hdfs dfs -put 本地文件路径 /hdfs路径 hdfs dfs -copyFromLocal 本地文件 /hdfs路径区别put源文件上传后可删除copyFromLocal源文件保留4. 下载文件HDFS → 本地bash运行hdfs dfs -get /hdfs文件 本地路径 hdfs dfs -copyToLocal /hdfs文件 本地路径5. 查看文件内容bash运行hdfs dfs -cat /test/file.txt hdfs dfs -tail /test/file.txt # 查看文件末尾6. 删除文件 / 文件夹bash运行hdfs dfs -rm /test/file.txt hdfs dfs -rm -r /test # 递归删除文件夹 hdfs dfs -rm -rf /test # 强制删除7. 复制、移动、重命名bash运行# HDFS内部复制 hdfs dfs -cp /a /b # HDFS内部移动/重命名 hdfs dfs -mv /a /b8. 查看文件大小bash运行hdfs dfs -du -h /二、Hadoop 集群启动 关闭命令1. 完整集群一键启动Hadoop2.x/3.x 通用bash运行start-all.sh2. 一键关闭集群bash运行stop-all.sh3. 分开启动精细版bash运行# 启动HDFS start-dfs.sh # 启动YARN start-yarn.sh4. 分开关闭bash运行stop-dfs.sh stop-yarn.sh5. 查看集群所有进程jps 必背bash运行jps正常完整进程NameNodeDataNodeResourceManagerNodeManagerSecondaryNameNode三、YARN 任务管理命令跑 MR/Spark 任务必备1. 查看所有运行中的任务bash运行yarn application -list2. 根据 applicationId 杀掉任务bash运行yarn application -kill application_xxxxxx3. 查看任务详细日志bash运行yarn logs -applicationId application_xxxxxx4. 查看 YARN 集群状态bash运行yarn node -list yarn info5. 运行自带 MapReduce 测试案例bash运行hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi 2 5计算圆周率用来测试集群是否正常。四、HDFS 运维常用命令1. 查看 HDFS 整体状态、使用率bash运行hdfs dfsadmin -report2. 安全模式相关bash运行# 离开安全模式HDFS刚启动只读需要手动退出 hdfs dfsadmin -safemode leave # 进入安全模式 hdfs dfsadmin -safemode enter # 查看安全模式状态 hdfs dfsadmin -safemode get3. 平衡数据块DataNode 数据不均衡bash运行hdfs balancer4. 检查文件块损坏bash运行hdfs fsck /五、简写习惯开发常用缩写很多人直接简写bash运行hadoop fs hdfs dfs两者几乎通用日常敲hdfs dfs更标准。六、高频面试速记总结HDFS 特点一次写入多次读取、不支持随机修改、分块存储、3 副本、高容错架构NameNode (元数据) DataNode (存数据)YARN 作用资源调度管 CPU 内存MapReduce 流程Map → Shuffle 排序分组 → Reducejps 五个进程必背上传put、下载get、删rm -r、建目录mkdir -p