报错
分析
object partOne1 {
// 创建环境
val conf = new SparkConf()
.setAppName("hdfs")
.setMaster("local[6]")
val sc = new SparkContext(conf)
// 设置日志级别
sc.setLogLevel("ERROR")
def main(args: Array[String]): Unit = {
// 创建环境
val conf = new SparkConf().setMaster("local[6]").setAppName("HDFS")
val sc = new SparkContext(conf)
// hdfs读取数据
val hdfs = sc.textFile("hdfs://192.168.64.178:9000/spark/zhaopin.csv")
// 展示数据集
hdfs.foreach(println(_))
}
出现这个问题的原因就是你创建了多个 SparkContext
,很显然,在main方法之外我已经创建了一个SparkContext
,所以main里面的就可以删除了。