Spark RDD中Transformation的map、flatMap、mapPartitions、glom详解

最新推荐文章于 2021-08-06 00:41:22 发布
最新推荐文章于 2021-08-06 00:41:22 发布
阅读量2.6k 收藏
点赞数 2
分类专栏： Spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/snail_gesture/article/details/49719441
版权
本文介绍了RDD的基本转换操作，包括Ma(func)、flatMap和mapPartitions等。Ma(func)用于将每个元素通过func函数转换为新元素；flatMap则将多个集合合并为单一集合；mapPartitions则是针对整个分区进行操作，常用于连接数据库。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这里写图片描述
Ma(func) 返回一个新的分布式数据集，该数据集由每一个输入元素经过func函数转换后组成。
由上可以看出，每一个分片中每一个元素都要经过f函数，将原来元素转成新元素u。
这里写图片描述
V1，V2，V3组成一个集合，经过flatMap之后就会将原来的几个集合合并成一个集合，产生新的RDD。
这里写图片描述
它会以整个分区为输入函数，也就是说这个函数是作用于整个分区的。应用在连接数据库，
使用mapPartitions连接我们要操作的具体的数据块，而连上之后我们通过具体的句柄，来操作这个数据块。
这里写图片描述
glom是将每一个分区形成一个数组，形成新的RDD类型时RDD[Array[T]]

Spark中glom算子详解介绍
CSDN 精品推荐
08-16 563
前几篇文章我们讲了 `mapParrtitions` 这个算子，该算子可以对整个分区的数据进行处理，内部的函数的输入是分区数据的迭代器，在此可以直接进行处理。
Spark（4）RDD编程中的transformation算子和action算子使用与区别详解
weixin_43230682的博客
08-04 2356
前言 在上一篇文章中我们介绍了什么是RDD，以及RDD的属性、特征、依赖关系和缓存机制等等： Spark（3）架构原理、运行流程、RDD 那么，本文继续重点介绍一下RDD两类算子的使用。 一、编程模型 在Spark中，RDD被表示为对象，通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后，就可以调用actions触发RDD的计算，action可以是向应用程序返回结果(count, collect等)，或者是向存储系统保存数据(saveAsTextFil
spark算子大全glom_SparkCore的基础介绍和几种算子：
weixin_39794213的博客
12-19 154
什么是RDD：RDD叫做分布式数据集，是Spark最基本的数据抽象，代码中是一个抽象类，它代表的是一个不可变、可分区、里面的元素可并行计算的集合。RDD里面封装的是计算逻辑。RDD的属性：1. 一个分区(Partition),即数据集的基本组成单位。2. 一个计算每个分区的函数。3. RDD之间的依赖关系。4. 一个Patitioner(即RDD的分片函数)5. 一个列表，存取每个Partitio...
spark--transform算子--flatMap
书灯的博客
07-18 281
flatMap = flat + map返回多个元素
Spark算子：transformation之mapPartitions、mapPartitionsWithIndex
csmnjk的专栏
09-20 592
1、mapPartitions： def mapPartitions[U](f: (Iterator[T]) => Iterator[U], preservesPartitioning: Boolean = false)(implicit arg0: ClassTag[U]): RDD[U] 该函数类似于map，只不过映射函数的参数是RDD每个分区的迭代器。若在映射的过程中需要频繁地创建...
spark常用RDD算子 - map()，mapPartitions() 和 flatMap() 的对比
小哇
07-27 503
map算子： 接收一个函数，把这个函数用于 RDD 中的每个元素，将函数的返回结果作为结果 RDD 中对应元素的值 map是一对一的关系flatMap算子： 有时候，我们希望对某个元素生成多个元素，实现该功能的操作叫作 flatMap() faltMap的函数应用于每一个元素，对于每一个元素返回的是多个元素组成的迭代器 例如我们将数据切分为单词 ，个人理解就是数据打散map算子示例 JavaRDD<String> parallelize = javaSparkContext.paralle.
Spark（第三节）RDD概念介绍、常见Transformation算子，常见Action算子
hwq317622817的博客
02-18 600
目录RDD概念介绍什么是RDD为什么会产生RDDRDD的属性RDD弹性RDD特点RDD算子介绍常见RDD的Transformation算子map(func)filter(func)flatMap(func)mapPartitionsWithIndex(func)sample(withReplacement, fraction, seed)takeSampleunion(otherDataset)intersection(otherDataset)distinct([numTasks]))partitionB
Spark算子详解：Transformation与Action操作
"Spark算子的详细使用方法涵盖了Spark中的Transformation和Action两类算子，以及它们的细分类型，包括Value型、Key-Value型的Transformation算子和Action算子。核心概念是RDD（弹性分布式数据集），它是Spark计算的...
史上最详细Spark-RDD算子介绍
qq_35628964的博客
08-06 438
Spark-Core 一、RDD概述 1.RDD（Resilient Distributed Dataset） 弹性分布式数据集，是Spark中的最基本数据抽象 在源码中是一个抽象类，代表一个弹性的，不可变、可分区、里面元素可以并行计算的集合。 弹性 存储的弹性：内存与磁盘的自动切换 容错的弹性：数据丢失可以自动恢复 计算的弹性：计算出错重试机制 分片的弹性：可根据需要重写分片 分布式 数据存储在大数据集群中的不同节点上 数据集，不存储数据 RDD封装了计算逻辑，并不保存数据
Spark Transformation —— mapPartitions
搬砖小工053
07-22 1087
原理def mapPartitions[U](f: (Iterator[T]) => Iterator[U], preservesPartitioning: Boolean = false)(implicit arg0: ClassTag[U]): RDD[U] 该函数和map函数类似，只不过映射函数的参数由RDD中的每一个元素变成了RDD中每一个分区的迭代器。如果在映射的过程中需要频繁创建额外
Spark glom
qq_43192537的博客
11-28 440
Spark glom
SparkStreaming读取kafka数据进行反序列化以及mapPartition优化实例
andyliuzhii的专栏
08-07 2727
val monitorWrappedMessage1 =  KafkaUtils.createStream[String,  Array[Byte], StringDecoder, DefaultDecoder](       ssc, kafkaParams, topicMap, StorageLevel.MEMORY_AND_DISK_SER_2).mapPartitions( partit
Spark:glom
weixin_48109576的博客
08-09 313
语法 val newRdd = oldRdd.golm 源码 def glom() : org.apache.spark.rdd.RDD[scala.Array[T]] = { /* compiled code */ } 1 作用 将每一个分区形成一个数组，形成新的RDD类型时RDD[Array[T]] 例子 package com.day1 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, Spa.
Transformation的map使用
weixin_39868387的博客
07-03 851
上篇：Sink-StreamingFileSink的使用 需求实现：在nc -lk 8888窗口下执行输入数据，把输入的单词转为大写在控制台输出 具体代码： package cn._51doit.flink.day02; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.configuration.Configuration; import org.apache.flink.stream
Spark算子：transformation之map、flatMap和distinct
csmnjk的专栏
09-20 1305
1、map 将RDD中的每个元素通过map中的函数映射为一个新的元素，并返回一个新类型的RDD。输入时的分区数与输出时的分区数保持一致。 //HDFS上的txt文件 hadoop fs -cat /tmp/1.txt hello world hello spark hello hive //读取HDFS文件到RDD scala&gt; var data = sc.textFile("/t...
Spark Transformation —— map算子
搬砖小工053
07-22 1625
特点 在已有的RDD上创建一个新的RDD 延迟执行（lazy）, Transformation 的时候不执行，在促发action的时候执行。 map(func) 函数功能说明返回一个新的分布式数据集，由每个原元素经过func函数转换后组成。新的分布式数据集和原数据集的形式是一样的。 将一个RDD中的每个数据项，通过map中的函数映射变为一个新的元素。输入分区与输出分区一对一，即：有多少个输入分区
10.3 spark算子例子map,filter,flatMap,mapPartitions,groupByKey,join,distinct
心雨先生
07-20 491
Map filter: object Map_Operator { def main(args: Array[String]): Unit = { /** * 创建一个设置Spark运行参数的对象 * SparkConf对象可以设置运行模式，设置Application的名称 * 设置Application执行所需要的资源情况 */ val conf = new SparkConf(...
Spark Transformation —— glom
搬砖小工053
07-22 867
def glom(): RDD[Array[T]]该函数是将RDD中每一个分区中类型为T的元素转换成Array[T]，这样每一个分区就只有一个数组元素。scala> var rdd = sc.makeRDD(1 to 10,3) rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[38] at makeRDD at :21scala>
常用transformation介绍
小江专栏
07-09 753
map map：将RDD中的每个元素传入自定义函数，获取一个新的元素，然后用新的元素组成新的RDD。 案例：将集合中每一个元素都乘以2 java: // 构造集合 List numbers = Arrays.asList(1, 2, 3, 4, 5); // 并行化集合，创建初始RDD JavaRDD numberRDD = sc.parallelize(numbers); // 使用
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值