Hadoop Distcp：数据迁移

概要

记录一下一次HDFS数据跨集群迁移的的操作命令

迁移命令

hadoop distcp -pb -i -update hdfs://src:8020/user/test_data hdfs://dist:8020/user/test_data

备注

正常情况下，命令比较简单：

hadoop distcp 源文件路径 目标文件路径

• 迁移的时候由于遇到一些异常报错：
  Check-sum mismatch between
  所有添加参数 -pb

  参考：

  https://support.huawei.com/enterprise/zh/knowledge/EKB1001523251

• 迁移的时候有遇到Map失败的情况，导致迁移任务失败，添加 参数 -i，保证任务正常执行完成