月落满江 2015-11-23 12:10 采纳率: 42.9%
浏览 4122
已采纳

关于spark RDD求平均的问题

hi,
假设我有一个spark RDD里面记录的是（时段，分数，次数）
我现在想求：每个时段的平均分数，即：同一个时段下，总分数 / 总次数
不知有什么好方法没有，因为我发现无论是action操作也好，转换成其他Rdd也好，
总没有满意方法，只能分成两个rdd然后关联处理

求大侠帮忙，谢谢

  • 写回答

1条回答 默认 最新

  • 云聪 2015-11-23 15:18
    关注

    先转化为pairrdd，以时段为键，分数次数为值，然后以键aggregate聚合，统计每个键下的值就行了

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题？

  • spark RDD编程 第3关：求平均值
    2021-10-22 15:49
    如是Tushy的博客 本关任务：编写Spark独立应用程序实现求平均值。 相关知识 为了完成本关任务，你需要掌握：RDD的创建；RDD的转换操作；RDD的行动操作。 RDD的创建 使用textFile()方法从本地文件系统中加载数据创建RDD，示例如下： ...
  • Spark RDD实现分组求TopN
    2024-06-19 15:39
    m0_70276855的博客 该Scala代码使用了Apache Spark的RDD（弹性分布式数据集）API来处理一个文本文件，该文件包含按逗号分隔的姓名和成绩数据。因为每一行为一条数据，所以先构成（姓名，成绩）二元组，然后根据姓名进行分组，对组内...
  • spark RDD 论文
    2016-09-09 11:55
    - **RDD 的设计理念**：为了解决上述问题，RDD 提供了一种粗粒度的共享内存模型，允许用户在集群中执行基于内存的计算任务，并且能够高效地容忍故障。 #### 二、RDD 的核心概念 - **定义**：RDD 是一种容错的...
  • hbase-rdd：Spark RDD从HBase读取，写入和删除
    2021-02-05 15:40
    可以使用 Spark 监控工具（如 Spark UI）和 HBase 监控工具（如 HBase Master UI、Hadoop Metrics2）来跟踪任务执行情况、资源使用、延迟等问题。 总结来说，`hbase-rdd` 库为 Scala 开发者提供了在 Spark 中操作 ...
  • 任务3.8.2 利用RDD计算总分与平均分
    2024-06-13 13:38
    酒城译痴无心剑的博客 本项目通过实践加深了对 Apache Spark 的认识，特别是在数据处理和 RDD 操作方面。项目过程中遇到的问题和解决方案为未来处理类似任务提供了宝贵的经验。未来可以探索更高效的数据处理方法和优化 Spark 应用程序的...
  • SparkRDD讲解
    2022-10-31 12:32
    程序消消乐的博客 SparkRDD
  • Spark RDD以及其特性.rar_RDD_Spark!_parallelbwz_spark_特性
    2022-09-21 01:43
    Spark的弹性分布式数据集（Resilient Distributed Datasets, 简称RDD）是其核心的数据抽象，也是Spark实现高效并行计算的关键所在。...通过对RDD的理解和熟练应用，我们可以更好地利用Spark解决复杂的数据处理问题。
  • SparkRDD 啊 啊啊
    2024-11-06 22:53
    在大数据处理中，Spark 作为一个领先的处理框架，它的RDD（弹性分布式数据集）是其核心概念之一。RDD 是一种容错的、并行的数据结构，可以让你显式地控制数据的分区，以及在集群节点上进行并行操作。在《大数据技术...
  • Spark RDD案例：计算平均分
    2022-06-23 17:14
    qq_57026298的博客 spark rdd
  • Spark大数据SparkRDD案例
    2023-05-10 12:03
    dddd_疾的博客 1.利用RDD计算总分和平均分。2.利用RDD统计每日新增用户。3.利用RDD实现分组排行榜。
  • 没有解决我的问题, 去提问