超级会员免费看
本文介绍了如何使用 HDFS 的 distcp 命令进行文件复制。在同路径下复制时，通过指定源目录和目标目录，文件会被合并到目标目录下。而在不同路径下复制，distcp 会将源目录的文件直接复制到目标目录中。
复制到同路径下：a/b/c-> a/b/c
1
distcp -pt hdfs://a/b/c/2021-02-01 hdfs://a/b/c/1900-01-01
结果是：
hdfs://a/b/c/1900-01-01/2021-02-01
2 这才是对的，直接复制文件过来。
distcp -pt hdfs://a/b/c/2021-02-01/* hdfs://a/b/c/1900-01-01
或者
distcp -pt hdfs://a/b/c/2021-02-01/* hdfs://a/b/c/1900-01-01/
结果是：
hdfs://a/b/c/1900-01-01/2021-02-01_f1.lzo
hdfs://a/b/c/1900-01-01/2021-02-01_f2.lzo
复制到不同路径下：a/b/c -> d/e/f
1 这也是直接复制文件过来
distcp -pt hdfs://a/b/c/2021-02-01 hdfs://d/e/f/1900-01-01
或者
distcp -pt hdfs://a/b/c/2021-02-01/* hdfs://d/e/f/1900-01-01
结果是：
hdfs://a/b/c/1900-01-01/2021-02-01_f1.lzo
hdfs://a/b/c/1900-01-01/2021-02-01_f2.lzo
扫一扫
1283
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
