spark集群部署规划:
| hadoop1 | master worker | datanode namenode secondarynamenode(hadoop) resourcemanager nodemanager(yarn) | 
| hadoop2 | worker | datanode nodemanager | 
| hadoop3 | worker | datanode nodemanager | 
问题引出:Hadoop集群启动后,使用jps查看进程均没问题,但是在Web50070端口上只显示了两个datanode。


 
进入50070端口,发现只有hadoop1和hadoop2没有hadoop3
 
 
解决方法:
 1.关闭集群
 
stop-dfs.sh
 stop-yarn.sh
stop-dfs.sh
stop-yarn.sh
 2.将集群中每个datanode节点的VERSION删除
 (VERSION里面记录着datanode id信息 路径/hadoop/tmp/dfs/data/current)
 
cd /usr/local/hadoop/tmp/dfs/data/current/
 ls
 rm -f VERSION
cd /usr/local/hadoop/tmp/dfs/data/current/
ls
rm -f VERSION
 3.执行hdfs namenode -format (格式化语句)
 
hdfs namenode -format 
 4.重启集群
 
先检查一下各个节点的etc/hosts文件是否都配置正确。
 再次尝试:
 
登录master50070端口可以看到三个结点都存在,问题解决了!!!



















