HDFS常用操作命令练习

练习在全分布式模式下启动了HDFS集群以及YARN集群

我的HDFS主节点配置在master，YARN管理主节点配置在slave1上

一、启动HDFS
在master主机下：

cd /opt/apps/hadoop-2.7.3/sbin
start-dfs.sh

如果是第一次启动需要先格式化

hdfs namenode -format

二、启动YARN集群
在slave1主机下

cd /opt/apps/hadoop-2.7.3/sbin
start-yarn.sh

三、命令练习
在主节点master上进行(其他节点也可以)：
web端打开master:50070查看我们的操作结果是否和预期一样
1、创建文件夹：hadoop fs -mkdir /目录名
例如：我们在根目录下创建一个文件夹opt

hadoop fs -mkdir /opt

由于我们这个集群式新建的，所以里面根目录下没有文件，我们在这里多创建几个文件夹，方便后面练习使用

hadoop fs -mkdir /home

跟linux创建目录一样我们一样可以使用-p来实现创建子目录的同事创建上级目录

hadoop fs -mkdir -p /suport/install

如果不写-p就会提示，没有suport这个目录
2、查看HDFS目录：hadoop fs -ls 目录路径
例如：查看根目录

[root@master sbin] hadoop fs -ls /
Found 3 items
drwxr-xr-x   - root supergroup          0 2020-04-01 15:54 /home
drwxr-xr-x   - root supergroup          0 2020-04-01 15:54 /opt
drwxr-xr-x   - root supergroup          0 2020-04-01 15:55 /suport

同样如果需要递归显示文件夹下的所有文件/目录那么在后面加-R

[root@master sbin] hadoop fs -ls -R /
drwxr-xr-x   - root supergroup          0 2020-04-01 15:54 /home
drwxr-xr-x   - root supergroup          0 2020-04-01 15:54 /opt
drwxr-xr-x   - root supergroup          0 2020-04-01 15:54 /opt/data
drwxr-xr-x   - root supergroup          0 2020-04-01 15:55 /suport
drwxr-xr-x   - root supergroup          0 2020-04-01 15:55 /suport/install

3、上传文件：hadoop fs -put 文件HDFS目录

[root@master data] vi a.txt
[root@master data] hadoop fs -put a.txt /opt/data

4、下载文件：hadoop fs -get HDFS文件 本地文件
hadoop fs -copyToLocal HDFS文件 本地文件

[root@master data] hadoop fs -get /opt/data/a.txt b.txt
[root@master data] ll
总用量 8
-rw-r--r--. 1 root root 73 4月   1 16:06 a.txt
-rw-r--r--. 1 root root 73 4月   1 16:14 b.txt
drwxr-xr-x. 4 root root 30 3月  31 17:25 dfs
drwxr-xr-x. 5 root root 57 4月   1 16:13 nm-local-dir
[root@master data]# cat b.txt 
chakabhdfsxitonggenmuluxiadesuoyouwenjianbaokuowenjianjialimiandewenjian

下载到指定文件