《深入理解Spark》之并行度和参数(spark.default.parallelism)之间的关系

最新推荐文章于 2025-03-17 17:58:34 发布

lyzx_in_csdn

最新推荐文章于 2025-03-17 17:58:34 发布

阅读量7.7k

点赞数

分类专栏： Spark

本文链接：https://blog.csdn.net/lyzx_in_csdn/article/details/79267010

版权

Spark 专栏收录该内容

35 篇文章

订阅专栏

package com.lyzx.day35

import org.apache.spark.{SparkConf, SparkContext}

class T1 {

  def f1(sc:SparkContext): Unit ={
    val rdd = sc.parallelize(1 to 100,10)
    println("[原始RDD] rdd.partitions.length="+rdd.partitions.length)
    val mapRdd = rdd.map(x=>(x,x))
    println("[map映射后的RDD] mapRdd.partitions.length="+mapRdd.partitions.length)

    val rePRdd = mapRdd.repartition(20)
    println("[repartition(20)] rePRdd.partitions.length="+rePRdd.partitions.length)

    val mapRdd2 = rePRdd.map(x=>x)
    println("[再map] mapRdd2.partitions.length="+mapRdd2.partitions.length)

    //如果conf设置了 spark.default.parallelism 这个属性,
    // 那么在groupByKey操作(这里的groupByKey指shuffle操作的算子)不指定参数时会默认到的读取设置的默认并行度参数
    val groupRdd = mapRdd2.groupByKey()
    println("[groupByKey] groupRdd.partitions.length="+groupRdd.partitions.length)
  }

}

object T1{

  def main(args: Array[String]): Unit = {
      val conf = new SparkConf().setAppName("day35").setMaster("local")
          conf.set("spark.default.parallelism","4")//设置默认的并行度

      val sc = new SparkContext(conf)
      val t = new T1
      t.f1(sc)
      sc.stop()
  }
}