spark idea java.lang.NoClassDefFoundError

最新推荐文章于 2025-03-25 14:11:38 发布

luyee2010

最新推荐文章于 2025-03-25 14:11:38 发布

阅读量2.2k

点赞数 2

本文链接：https://blog.csdn.net/luyee2010/article/details/90672526

版权

博客指出在Idea运行Spark的mainclass时会出现类似报错，原因主要是Maven依赖的scope设置不对，解决办法是注释掉<scope>provided</scope>。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
	at org.apache.spark.SparkConf.loadFromSystemProperties(SparkConf.scala:73)
	at org.apache.spark.SparkConf.<init>(SparkConf.scala:68)
	at org.apache.spark.SparkConf.<init>(SparkConf.scala:55)

也可能是

Exception in thread "main" java.lang.NoClassDefFoundError: scala/Cloneable 
at java.lang.ClassLoader.defineClass1(Native Method) 
at java.lang.ClassLoader.defineClass(ClassLoader.java

都是类似的报错，这个主要是maven依赖的scope设置不对，注释掉<scope>provided</scope>

    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_${scala.binary.version}</artifactId>
      <version>${project.version}</version>
     <!-- <scope>provided</scope> -->
    </dependency>

一般是再idea 运行spark 的 mainclass 报错