spark1.1.0下使用SparkSQL

最新推荐文章于 2023-11-25 23:28:27 发布

白乔

最新推荐文章于 2023-11-25 23:28:27 发布

阅读量5.2k

点赞数 1

分类专栏：大数据与人工智能

本文链接：https://blog.csdn.net/bluejoe2000/article/details/41412107

版权

大数据与人工智能专栏收录该内容

110 篇文章

订阅专栏

本文详细介绍了如何在Spark中利用SparkSQL进行关系型查询，包括创建SchemaRDD，从文本文件加载数据，执行SQL查询并打印结果。同时展示了如何通过HiveContext与Hive集成，执行HiveQL查询并输出数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark1.1.0的安装参见http://blog.csdn.net/bluejoe2000/article/details/41391407

安装了spark之后，可以在 shell中执行Spark SQL。Spark SQL是支持在Spark中使用Sql、HiveSql、Scaca中的关系型查询表达式。它的核心组件是一个新增的RDD类型SchemaRDD，它把行对象用一个Schema来描述行里面的所有列的数据类型，它就像是关系型数据库里面的一张表。它可以从原有的RDD创建，也可以是Parquet文件，最重要的是它可以支持用HiveQL从hive里面读取数据。

首先查看下数据文件：

cat ./examples/src/main/resources/people.txt
Michael, 29
Andy, 30
Justin, 19

Spark SQL测试：

val sqlContext = new org.apache.spark.sql.SQLContext(sc)
import sqlContext._
case class Person(name: String, age: Int)
val people = sc.textFile("examples/src/main/resources/people.txt").map(_.split(",")).map(p => Person(p(0), p(1).trim.toInt))
people.registerAsTable("people")
val teenagers = sql("SELECT name FROM people WHERE age >= 13 AND age <= 19")
teenagers.map(t => "Name: " + t(0)).collect().foreach(println)

shell将输出：

14/11/23 16:28:07 INFO SparkContext: Job finished: collect at <console>:20, took 0.377845624 s
Name: Justin

HiveQL测试：

val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc)
import hiveContext._
hql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)")
hql("LOAD DATA LOCAL INPATH 'examples/src/main/resources/kv1.txt' INTO TABLE src")
hql("SELECT count(*) FROM src").collect().foreach(println)
hql("SELECT key, value FROM src WHERE key>200 and key<300 order by key asc").collect().foreach(println)