Idea创建maven工程上传提交Spark运行 WordCount 配置依赖插件文件全步骤

最新推荐文章于 2024-09-26 20:53:41 发布

whywww

最新推荐文章于 2024-09-26 20:53:41 发布

阅读量899

点赞数 2

分类专栏： BigData 文章标签：大数据 Spark scala hadoop intellij idea

本文链接：https://blog.csdn.net/whywww/article/details/79553673

版权

本文详细介绍了如何使用IntelliJ IDEA创建Maven工程，配置Scala环境，编写WordCount代码，配置pom.xml文件，并进行项目打包。通过双击package进行打包，最终在Linux环境下运行Spark集群，成功执行WordCount任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

创建maven工程

首先安装apache maven，选择maven工程
创建1
GroupId和ArtifactId是自己设置，通常ArtifactId就是项目名
创建2
直接点finish
创建3
File -> Project Structure -> Global Libraries里面确认scala版本
这里写图片描述
看一下现在的目录结构，可以将java改成scala（如果两种语言都有就可以在main下建两个文件夹：java和scala）

scala文件夹下新建一个scala class，命名为WordCount

WordCount代码及配置

import org.apache.spark.{SparkConf, SparkContext}

object WordCount {
  def main(args: Array[String]): Unit = {

    val sconf = new SparkConf().setAppName("WordCount")
    val sc = new SparkContext(sconf)

    sc.textFile(args(0)).flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _).sortBy(_._2, false).saveAsTextFile(args(1))
    sc.stop()
  }
}

配置pom.xml（按照里面注释改一下自己的配置），有任何修改都要重新import change

<dependencies>
        <!-- https://mvnrepository.com/artifact/org.scala-lang/scala-library -->
        <!-- 以下dependency都要修改成自己的scala,spark,hadoop版本-->
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.11.0</version>
        </dependency>

        <