hadoop命令集合

最新推荐文章于 2024-04-14 13:06:43 发布

王小禾

最新推荐文章于 2024-04-14 13:06:43 发布

阅读量226

点赞数

分类专栏：服务安装文章标签： hadoop

本文链接：https://blog.csdn.net/answer100answer/article/details/90295001

版权

服务安装专栏收录该内容

11 篇文章

订阅专栏

博客主要介绍了Hadoop3相关内容，包括HDFS和YARN模块的启动，如start-all.sh、start-dfs.sh、start-yarn.sh等命令的作用。还提及单个节点操作，如启动、停止节点及相关管理服务，对比了start-all.sh与hadoop-daemon.sh的区别，最后给出写脚本时的问题及解决办法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

- hadoop3的命令

HDFS模块启动:

$ sbin/hadoop-daemon.sh start namenode
$ sbin/hadoop-daemon.sh start datanode
$ sbin/hadoop-daemon.sh start secondarynamenode

YARN模块启动:

$ sbin/yarn-daemon.sh start resourcemanager
$ sbin/yarn-daemon.sh start nodemanager

说明：
start-all.sh 命令其实是Instead use start-dfs.sh and start-yarn.sh
start-dfs.sh 会启动 NameNode和SecondNameNode–>slave是DataNode
start-yarn.sh 会启动ResourceManage–>slave是NodeManage

hadoop3的命令

1.单个节点操作

启动|停止单个节点

hdfs --daemon start|stop datanode

hdfs --daemon start|stop namenode

启动|停止单个节点的NodeManageer

yarn --daemon stop|start nodemanager

启动|停止ResourceManager

yarn --daemon start|stop resourcemanager

关于start-all.sh与hadoop-daemon.sh的区别：
前者会分布式启动；
后者只在自己机器启动

YARN历史服务器

[hadoop@hadoop1 sbin]$ ./mr-jobhistory-daemon.sh start historyserver

查看机架图

hadoop dfsadmin -printTopology

注意写脚本时可能遇到的问题及解决：
hadoop-daemon.sh不能解决时，将其换成hadoop-daemons.sh
不要加sh

如：
start-hadoop.sh:

cd $HADOOP_HOME
#hadoop namenode -format

sbin/hadoop-daemons.sh start namenode
sbin/yarn-daemons.sh start resourcemanager

for (( VAR = 1; VAR < 7; ++VAR )); do
    ssh hadoop-slave$VAR "$HADOOP_HOME/sbin/hadoop-daemons.sh start datanode"
    ssh hadoop-slave$VAR "$HADOOP_HOME/sbin/yarn-daemons.sh start nodemanager"
done

journalnode

$ sbin/hadoop-daemon.sh start journalnode