Hadoop--HDFS的Shell操作（常用命令）

基本语法

• hadoop fs 具体命令 或者 hdfs dfs 具体命令
• 这两种是完全相同的

命令大全

常用-help命令，查看命令帮助

hadoop fs -mkdir ：创建文件夹

在hadoop102:9870的hdfs页面查看创建成功

上传

• hadoop fs -moveFromLocal：从本地移动（剪切）到HDFS

  • hadoop fs -moveFromLocal 要上传hdfs的文件路径 要上传到hdfs的目标路径

  • 在这个例子中：我们就将刚刚创建的shuguo.txt文件上传到了之前在hdfs创建的sanguo目录下

  • 我们查看一下目录中已经没有了shuguo.txt这个文件了，因为已经移动到hdfs目录中

  • 

• hadoop fs -copyFromLocal：从本地文件系统中拷贝文件到HDFS某目录下

  • hadoop fs -copyFromLocal 要上传hdfs的文件路径 要上传到hdfs的目标路径
  • 
  • 因为是copy本地文件到hdfs，所以本地文件不会消失
  • 

• hadoop fs -put：等同于 hadoop fs -copyFromLocal

  • 生产环境更习惯用put
  • 
  • 

• hadoop fs -appendToFile：追加一个文件到已存在的文件末尾

  • 
  • 

下载

• hadoop fs -copyToLocal：从HDFS拷贝到本地

  • 
  • 下载的时候可以重命名：例如：
  • hadoop fs -copyToLocal /sanguo/shuguo.txt ./shuguo2.txt

• hadoop fs -get：等同于hadoop fs -copyToLocal

  • 与hadoop fs -copyToLocal用法一致
  • 生产环境下习惯用hadoop fs -get

直接操作HDFS

• hadoop fs -ls：显示目录信息

  • 

• hadoop fs -cat：查看文件内容

  • 

• hadoop fs -chgrp/chmod/chown：与Linux文件系统用法一致，修改文件权限

  • 与Linux文件系统的chgrp、chmod、chown用法一致。

• hadoop fs -mkdir：在hdfs创建目录

  • 

  • 

  • 与Linux文件系统的mkdir用法一致。

• hadoop fs -cp：从HDFS的一个路径拷贝到HDFS的另一个路径

  • 
  • 

• hadoop fs -mv：将文件从HDFS的一个路径移动（剪切）到另一个路径

  • 
  • 
  • 

• hadoop fs -tail：显示一个文件末尾1kb的数据

  • 

• 因为末尾的数据时效性是最新的数据，包括日志等

• hadoop fs -rm：删除文件

  • 
  • 

• hadoop fs -rm -r：删除一个目录及里面全部内容

  • 
  • 
  • /shuguo目录已经删除

• hadoop fs -du：统计文件夹的大小信息

  • 
  • 前面的数表示文件大小，后面的数表示有n个副本就是原大小*n
  • 添加-s参数，可以查看整个文件夹大小：
  • 

• hadoop fs -setrep：设置HDFS中文件的副本数量

  • 

  • 这里我们把/jinguo/shuguo.txt这个文件设置存储10个副本

  • 

  • 但是这里的设置的副本数只是记录在NameNode的元数据中，是否真的有这么多副本还要看DataNode的数量。因为我们现在只有4台服务器。最多也就存四个副本，只有节点增加到10个的时候，副本才能真的达到10个。