HDFS操作命令

最新推荐文章于 2025-05-14 22:27:35 发布

Joy_cj

最新推荐文章于 2025-05-14 22:27:35 发布

阅读量749

点赞数

分类专栏：大数据开发

本文链接：https://blog.csdn.net/cjDaShuJu_Java/article/details/82226546

版权

大数据开发专栏收录该内容

11 篇文章

订阅专栏

操作HDFS
   1、通过Web Console: 50070、50090
   2、命令行
       （1）操作命令 hdfs dfs *****
           -mkdir 创建目录
               举例：hdfs dfs -mkdir /aaa
               hdfs dfs -mkdir -p /bbb/ccc
                   -p 表示如果父目录不存在先创建父目录

           -ls 查看某个目录
           -ls -R 查看某个目录，包含子目录
                   简写: -lsr

           -put 上传数据 hdfs dfs -put data.txt /input
           -copyFromLocal 上传数据 hdfs dfs -copyFromLocal data.txt /input
           -moveFromLocal 上传数据（相当于 ctrl+x 剪切）

           -copyToLocal 下载数据
           -get 下载数据

           -rm 删除目录
           -rmr 删除目录（包含子目录）
           hdfs dfs -rmr /tools
               rmr: DEPRECATED: Please use 'rm -r' instead.

               日志：
               18/04/09 21:35:40 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.
               Deleted /tools ---> 成功删除（对比：回收站）

           -getmerge: 把某个目录下的文件先合并，再下载（提高效率）
                       [root@bigdata111 temp]# vi student01.txt
                       [root@bigdata111 temp]# vi student02.txt
                       [root@bigdata111 temp]# hdfs dfs -mkdir /students
                       [root@bigdata111 temp]# hdfs dfs -put student0*.txt /students
                       [root@bigdata111 temp]# hdfs dfs -ls /students
                       [root@bigdata111 temp]# hdfs dfs -getmerge /students ~/temp/allstudent.txt

           -cp: hdfs dfs -cp /input/data.txt /input/data2.txt
           -mv: hdfs dfs -cp /input/data.txt /students

           -count: hdfs dfs -count /students
                           hdfs dfs -count /students
                       1 2 29 /students
                       目录个数，文件个数，文件总计大小   输入路径

           -du 每个文件的大小
               [root@bigdata111 temp]# hdfs dfs -du /students
               19 /students/student01.txt
               10 /students/student02.txt

           -text、-cat 查看文件的内容
           hdfs dfs -cat /students/student01.txt

           balancer: 平衡操作

       （2）管理命令 hdfs dfsadmin *****
               -report: 输出HDFS的报告(Summary)
               -safemode: 安全模式
                   [root@bigdata111 temp]# hdfs dfsadmin -safemode
                   Usage: hdfs dfsadmin [-safemode enter | leave | get | wait]
                   [root@bigdata111 temp]# hdfs dfsadmin -safemode get
                   Safe mode is OFF
                   [root@bigdata111 temp]# hdfs dfsadmin -safemode enter
                   Safe mode is ON
                   [root@bigdata111 temp]# hdfs dfs -mkdir /aaaa
                   mkdir: Cannot create directory /aaaa. Name node is in safe mode.
                   [root@bigdata111 temp]# hdfs dfsadmin -safemode leave
                   Safe mode is OFF