在本次实战中，我们的目标是利用Spark SQL计算学生的总分与平均分。首先，我们准备了包含学生成绩的数据文件，并将其上传至HDFS。接着，通过Spark的交互式编程环境，我们读取了成绩文件并将其转换为结构化的DataFrame。然后，我们创建了一个临时视图，并通过SQL查询计算了每个学生的总分和平均分。此外，我们还通过创建一个Spark项目来实现相同的功能。在项目中，我们定义了Maven依赖，配置了Scala SDK，并设置了日志和HDFS配置文件。通过编写Scala代码，我们实现了成绩的读取、转换和计算，并最终在控制台输出了结果。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
