scala 拷贝本地文件到hdfs

最新推荐文章于 2024-06-05 20:08:53 发布

Thomas2143

最新推荐文章于 2024-06-05 20:08:53 发布

阅读量321

点赞数

分类专栏： free 文章标签： hadoop hdfs 大数据

本文链接：https://blog.csdn.net/qq_35515661/article/details/130231172

版权

free 专栏收录该内容

274 篇文章

订阅专栏

该代码示例展示了如何使用ApacheHadoop的API配置文件系统，设置默认FS为HDFS，并执行从本地到HDFS的文件上传。在不同条件下，通过`copyFromLocalFile`方法处理覆盖和不覆盖现有文件的情况。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

        import org.apache.hadoop.conf.Configuration
        import org.apache.hadoop.fs.{FileSystem, Path}

        val conf = new Configuration()
        conf.set("fs.defaultFS","hdfs://172.13.130.2:8020")
        val fs = FileSystem.get(conf)

        // 本地文件路径和 HDFS 目标路径
        val localPath = new Path("D:\\SWAP\\1.txt")
        val hdfsPath = new Path("/yy/1.txt")

        // 上传本地文件到 HDFS 默认是覆盖模式
        // copyFromLocalFile(boolean delSrc, boolean overwrite, Path[] srcs, Path dst)
//        fs.copyFromLocalFile(localPath, hdfsPath) // 覆盖模式
//        fs.copyFromLocalFile(false,false,localPath, hdfsPath) // 报错 Target /yy/1.txt already exists
//        fs.copyFromLocalFile(false,true,localPath, hdfsPath) //文件替换
//        fs.copyFromLocalFile(true,true,localPath, hdfsPath) // 删除localPath中文件 替换hdfsPath中文件