Spark DataFrame 函数

最新推荐文章于 2025-03-03 05:30:33 发布

Code_LT

最新推荐文章于 2025-03-03 05:30:33 发布

阅读量967

点赞数

分类专栏： Spark 文章标签： dataframe

本文链接：https://blog.csdn.net/Code_LT/article/details/87719807

版权

Spark 专栏收录该内容

40 篇文章

订阅专栏

DataFrame 一旦被创建，则可被DataFrame, column和 function中的函数操作，这些函数叫做 domain-specific-language (DSL) 函数。

DataFrame函数和RDD一样，也分为action和transformation，且后者是惰性的。

Spark 1.5.1函数：

dataframe：

http://spark.apache.org/docs/1.5.1/api/scala/index.html#org.apache.spark.sql.DataFrame

column:

http://spark.apache.org/docs/1.5.1/api/scala/index.html#org.apache.spark.sql.Column

functions:

http://spark.apache.org/docs/1.5.1/api/scala/index.html#org.apache.spark.sql.functions$

新增列同名时会报错

import org.apache.spark.sql.functions.explode
import org.apache.spark.sql.functions.col

 val words1=sc.parallelize(Seq((1,Array("sun", "rises", "in"))))
    val words2=sc.parallelize(Seq((1,Map(("k1","v1"),("k2","v2"),("k3","v3")))))
    words1.toDF("key","values").withColumn("value",explode(col("values"))).show
    words1.toDF("key","values").select(col("key"),explode(col("values"))).toDF("key","value").show
   // words2.toDF("key","values").withColumn("key",explode(col("values"))).show //报错，有两列，却只有一个列名
    words2.toDF("key","values").select(col("key"),explode(col("values"))).toDF("key","subkey","value").show