Spark基础学习笔记20：RDD持久化、存储级别与缓存

已于 2022-04-11 12:59:22 修改
阅读量2k 收藏 3
点赞数 2
分类专栏： Spark基础学习笔记 文章标签： 持久化 存储级别 缓存
于 2022-04-11 11:43:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/howard2005/article/details/124092714
版权
本文详细介绍了Spark中RDD的持久化及其必要性，通过案例展示了如何使用persist()和cache()方法进行持久化操作，以及如何选择合适的存储级别以平衡内存使用和CPU效率。同时，文章还探讨了如何利用Spark WebUI查看RDD的缓存状态，包括创建、修改存储级别以及删除缓存的RDD。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

零、本讲学习目标

  1. 理解RDD持久化的必要性
  2. 了解RDD的存储级别
  3. 学会如何查看RDD缓存

一、RDD持久化

（一）引入持久化的必要性

  • Spark中的RDD是懒加载的，只有当遇到行动算子时才会从头计算所有RDD，而且当同一个RDD被多次使用时，每次都需要重新计算一遍，这样会严重增加消耗。为了避免重复计算同一个RDD，可以将RDD进行持久化。
  • Spark中重要的功能之一是可以将某个RDD中的数据保存到内存或者磁盘中，每次需要对这个RDD进行算子操作时，可以直接从内存或磁盘中取出该RDD的持久化数据，而不需要从头计算才能得到这个RDD。

（二）案例演示持久化操作

1、RDD的依赖关系图

  • 读取文件，进行一系列操作，有多个RDD，如下图所示。
    在这里插入图片描述

2、不采用持久

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据学习之路80-RDD的存储级别
爱米酱的博客
09-18 483
前面我们说过如果我们想提高spark RDD的执行效率的话，我们可以将常用的RDD cache到内存中这样我们用的话就可以直接拿，执行的效率也会快很多，当然这个cache如果不释放就会一直占用内存的空间。 两次执行rdd2.count的速度明显不一样，第二次的速度会更快 第一次用了3秒，第二次仅用了0.2秒，这都是缓存的功劳 这就是我们的缓存，占用了352B的空间，如果不释放的话...
Spark基础学习笔记16：创建RDD
howard2005的专栏
03-11 2567
RDD概念，创建RDD
Spark RDD持久化
baidu_36399851的博客
04-29 1311
1、RDD性质 RDD数据是过程数据，即计算得到后一个RDD时，前一个RDD就会被释放。如图就是当RDD4被计算出来RDD3就会被释放。 2、为什么要持久化呢？ 如图，一个应用程序中存在两个collect，中间链路都调用了RDD3，可是在第一个collect执行完时，由于RDD时过程数据，RDD3已经被释放，所以执行第二个collect需要重新计算RDD1、RDD2、RDD3，这样就浪费资源。为了避免重新计算RDD3，则对RDD3进行持久化。 3、RDD持久化方法 rdd3.cache()
Spark中RDD的创建与存储
Code_LT的博客
02-19 4720
RDD，全称为Resilient Distributed Datasets，是一个容错的、并行的数据结构，可以让用户显式地将数据存储到磁盘和内存中，并能控制数据的分区。 RDD是只读的、分区记录的集合。RDD不需要物化。RDD含有如何从其他RDD衍生（即计算）出本RDD的相关信息（即Lineage），据此可以从物理存储的数据计算出相应的RDD分区。 每个RDD有5个主要的属性： ...
Spark基础学习笔记：RDD持久化、存储级别与缓存
py20010218的博客
06-20 2357
Spark基础学习笔记：RDD持久化、存储级别与缓存
RDD持久化、存储级别与缓存
weixin_55988146的博客
06-21 691
RDD持久化
Spark的RDD持久化
weixin_46429290的博客
09-15 258
Spark的RDD持久化 对于一个RDD的执行流程，从读取文件到一些处理的过程如图所示 从上图也可以看出，Spark的执行过程中是不会保存数据的，虽然会保存各个RDD之间的依赖关系，但是数据的重用还是不能做到，每次重用数据的时候，都需要从头开始执行流程，为了使效率变高，不是重复执行读取，可以在我们需要重复读取的数据后进行数据持久化，以上图为例，因为map数据是需要重复使用的，所以在map之后，增加一个持久化操作 mapRDD.cache() 一、RDD Cache缓存 RDD 通过 Cache 或者
Spark的存储级别
lucasmaluping的专栏
12-30 3140
Spark 中一个很重要的能力是将数据持久化（或称为缓存），在多个操作间都可以访问这些持久化的数据。当持久化一个 RDD 时，每个节点的其它分区都可以使用 RDD 在内存中进行计算，在该数据上的其他 action 操作将直接使用内存中的数据。这样会让以后的 action 操作计算速度加快（通常运行速度会加速 10 倍）。缓存是迭代算法和快速的交互式使用的重要工具。 RDD 可以使用 persist...
Spark基础学习笔记21：RDD检查点与共享变量
qq_67308063的博客
05-06 691
文章目录 零、本讲学习目标 一、RDD检查点 （一）RDD检查点机制 （二）与RDD持久化的区别 （三）RDD检查点案例演示 二、共享变量 （一）广播变量 1、默认情况下变量的传递 2、使用广播变量时变量的传递 （二）累加器 1、累加器功能 2、不使用累加器 3、使用累加器 零、本讲学习目标 理解RDD检查点机制的特点与用处 理解共享变量的类别、特点与使用 一、RDD检查点 （一）RDD检查点机制 RDD的检查点机制（Checkpoint）相当于对RDD数据进行快照，可以将经常使用的RDD快照到指定的文件系
Spark基础学习笔记13：创建RDD
qq_56244269的博客
06-13 388
目录一、RDD为何物（一）RDD概念（二）RDD示例（三）RDD主要特征二、做好准备工作（一）准备文件1、准备本地系统文件2、启动HDFS服务3、上传文件到HDFS（二）启动Spark Shell1、启动Spark服务2、启动Spark Shell三、创建RDD（一）从对象集合创建RDD1、利用parallelize()方法创建RDD2、利用makeRDD()方法创建RDD3、简单说明（二）从外部存储创建RDD1、读取本地系统文件Spark提供了一种对数据的核心抽象，称为弹性分布式数据集（Resilient
简单搞定Spark RDD持久化
github_36444580的博客
12-07 306
一、RDD持久化原理： Spark非常重要的一个功能特性就是可以将RDD持久化在内存中。当对RDD执行持久化操作时，每个节点都会将自己操作的RDD的partition持久化到内存中，并且在之后对该RDD的反复使用中，直接使用内存缓存的partition。这样的话，对于针对一个RDD反复执行多个操作的场景，就只要对RDD计算一次即可，后面直接使用该RDD，而不需要反复计算多次该RDD。 巧妙使用RDD持久化，甚至在某些场景下，可以将spark应用程序的性能提升10倍。对于迭代式算法和快速交互式应用来说，R
pythonsparkpickle,如果pyspark中已经存在文件，如何覆盖rdd saveAsPickleFile（path）？
weixin_29958123的博客
03-01 739
How to overwriteRDD output objects any existing path when we are saving time.test1:975078|56691|2.000|20171001_926_570_1322975078|42993|1.690|20171001_926_570_1322975078|46462|2.000|20171001_926_570_1...
spark从入门到放弃六: RDD 持久化原理
u012957549的博客
03-09 5528
文章地址：http://www.haha174.top/article/details/252484 spark 中一个非常重要的功能特性就是可以将RDD 持久化到内存中。当对RDD进行持久化操作时，每个节点都会将自己操作的RDD的partition持久化到内存中，并且之后对该RDD的反复使用直接使用内存缓存的partion.这样的话针对一个RDD反复执行多个操作的场景就只要对RDD计算一次即...
spark基础知识选择、判断、简答题。
热门推荐
weixin_43793040的博客
06-08 1万+
** # spark相关题目 ** 1、 持久化RDD的存储级别中，将RDD分区全部存储到磁盘上的存储级别是（）。 A、MEMORY_ONLY B、MEMORY_AND_DISK C、DISK_ONLY D、MEMORY_ONLY_SER 参考答案: C 答案解析: 暂无解析 2、 当MemStore存储的数据达到一个阀值（）时，数据就会被进行flush操作，将数据写入到StoreFile文件。 A、64M B、128M C、256M D、512M 参考答案: B 答案解析: 暂无解析 3、 下列选项中
Spark 内存运用
记录点点滴滴
03-02 1162
当同一个 RDD 被引用多次时，就可以考虑进行 Cache，从而提升作业的执行效率。
sparkRDD操作，转换算子和行动算子
严同学在努力
03-30 596
Spark常用的RDD转换和行动算子
Spark RDD 缓存机制
最新发布
03-24 5万+
Spark RDD 缓存是在内存存储RDD计算结果的一种优化技术。把中间结果缓存起来以便在需要的时候重复使用，这样才能有效减轻计算压力，提升运算性能。当对RDD执行持久化操作时，每个节点都会将自己操作的RDD的partition持久化到内存中，并且在之后对该RDD的反复使用中，直接使用内存缓存的partition。这样的话，对于针对一个RDD反复执行多个操作的场景，就只要对RDD计算一次即可，后面直接使用该RDD，而不需要反复计算多次该RDD。
Spark RDD的缓存 rdd.cache() 和 rdd.persist()
sunspeedzy的博客
04-04 1万+
RDD的缓存级别顺便看一下RDD都有哪些缓存级别，查看 StorageLevel 类的源码：object StorageLevel { val NONE = new StorageLevel(false, false, false, false) val DISK_ONLY = new StorageLevel(true, false, false, false) val DISK_ON
Spark存储级别的选择
qq_41733481的博客
05-22 3500
Spark中一个很重要的能力是将数据持久化（或称为缓存），在多个操作间都可以访问这些持久化的数据。当持久化一个RDD时，每个节点的其它分区都可以使用RDD在内存中进行计算，在该数据上的其他action操作将直接使用内存中的数据。这样会让以后的action操作计算速度加快（通常运行速度会加速10倍）。缓存是迭代算法和快速的交互式使用的重要工具。 RDD可以使用persis...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值