大数据技术_ linux系统之使用hdfs API (java编程方式)

最新推荐文章于 2025-02-14 09:30:00 发布

Coder_Boy_

最新推荐文章于 2025-02-14 09:30:00 发布

阅读量566

点赞数

分类专栏： Java架构师大数据技术文章标签： java hadoop 大数据

本文链接：https://blog.csdn.net/Coder_Boy_/article/details/109467616

版权

使用hdfs api——java编程方式

示例项目 https://github.com/qiyueW/hadoop.file.git
1、编写MapReduce程序

继承public class Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT>
重写里面的map方法。
示例

命令	说明	示例	备注
hadoop fs -mkdir	创建目录	hadoop fs -mkdir /user	在HDFS中创建“/user”目录
	创建目录	hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2	同时创建多个目录

案例代码：
pom.xml

<properties>
		<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
		<maven.compiler.source>1.8</maven.compiler.source>
		<maven.compiler.target>1.8</maven.compiler.target>
		<hadoop.version>3.1.2</hadoop.version>
		<slf4j.version>1.7.7</slf4j.version>
		<log4j.version>1.2.17</log4j.version>
	</properties>

	<dependencies>
		<dependency>
			<groupId>junit</groupId>
			<artifactId>junit</artifactId>
			<version>4.12</version>
			<type>jar</type>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-common</artifactId>
			<version>${hadoop.version}</version>
		</dependency>
		<dependency