[Spark版本更新]--Spark-2.3.1发布说明

最新推荐文章于 2025-04-21 10:32:09 发布
最新推荐文章于 2025-04-21 10:32:09 发布
阅读量1.4k 收藏
点赞数 1
分类专栏： Apache Spark 文章标签： spark
2018年9月8日，Apache Spark 发布了2.3.1版本，修复了大量Bug，包括PySpark、结构化流、查询执行、优化等多个方面的改进。新增特性包括在submitMissingTasks中触发mapstage的作业监听器，以及LSHModel在结构化流中的支持。此外，还提升了性能和用户体验，如错误信息的改进和Parquet模式不匹配的错误消息的增强。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

2018-09-08 Apache Spark 官方发布了Spark 2.3 的小版本--2.3.1，Release Notes 如下：

Sub-task

  • [ SPARK-23706 ] - spark.conf.get（value，default = None）应该在PySpark中产生None
  • [ SPARK-23748 ] - 支持从临时表中选择
  • [ SPARK-23942 ] - PySpark的collect不会触发QueryExecutionListener
  • [ SPARK-24334 ] - ArrowPythonRunner中的竞争条件导致Arrow内存分配器的不正常关闭

Bug

  • [ 
了解本专栏 订阅专栏 解锁全文 超级会员免费看
【Spark】Spark2.x版新特性
starlywang的博客
04-14 518
【Spark】Spark2.x版新特性一、API二、SQL三、性能四、 Spark Streaming五、Spark MLlib六、Other 一、API 出现新的上下文接口：SparkSession，统一了SQLContext和HiveContext，并且为SparkSession开发了新的流式调用的configuration API 统一了DataFrame和DataSet。DataF...
Spark2.3.1 RDD Programming Guide
ThisIsNobody的博客
07-08 341
Spark应用：driver program运行用户main函数并在executors集群执行并行操作1 Spark提供两种抽象：RDD和shared variables2 创建RDD的两种方式：在驱动器程序parallelize集合；从外部存储系统引入数据集    1) SparkContext.parallelize        可以使用第二个参数传递分区数量，即并行度，sc.paralle...
Spark版本更新信息整理
03-07
Spark版本更新情况整理，有利于大家分析Spark的发展历程，并且可以分析Spark需要完善的方向有哪些
spark 2.3.1 入门教程
Echo_y_d的博客
10-17 619
基本：（所有环境包括scala和spark都装好的前提下） 在spark目录中用下面的命令启动shell ./bin/spark-shell Spark的主要抽象是一个名为Dataset的分布式项目集合。可以从Hadoop InputFormats（例如HDFS文件）或通过转换其他数据集来创建数据集 scala> val textFile = spark.read.textFile(...
spark基础介绍
最新发布
2301_82251033的博客
04-21 877
为了实现这样的要求，同时获得最大灵活性，Spark支持在各种集群管理器（Cluster Manager）上运行，包括Hadoop YARN、Apache Mesos，以及Spark自带的一个简易调度器，叫作独立调度器。Spark：Spark Streaming 提供了强大的实时数据处理能力，它可以将实时数据流分割成小的批次进行处理，实现准实时的数据分析。这里的 \ 是换行输入的意思，整体的代码就只有一句，只不过太长了，我们把它拆开成几个部分来输入，其中\ 的意思就是这里写不下，写在下一行。
Spark（2.3.1）集群安装【一篇就够】
sjmz30071360的专栏
09-09 3714
操作系统：Linux（CenOS7） Spark集群至少需要有JDK、Hadoop、Scala、Spark 一、安装Spark依赖的Scala（每个节点都安装） 1.1 下载Scala（2.11.12） wget "https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz" 1.2 解压、配置环境变量 vi /etc...
Apache Spark 3.5介绍与部署(最新版本)
super_mochi1
01-24 1226
Apache Spark 是一个快速的，通用的集群计算系统。它对 Java，Scala，Python 和 R 提供了的高层 API，并有一个经优化的支持通用执行图计算的引擎。它还支持一组丰富的高级工具，包括用于 SQL 和结构化数据处理的 Spark SQL，用于机器学习的 MLlib，用于图计算的 GraphX 和 Spark Streaming。Apache Spark是一个开源的分布式计算框架，最早由加州大学伯克利分校AMPLab团队在2012年发布。
最新版Spark 3 HelloWorld
一个不安分的程序员
03-13 439
Spark已经发布到3.1.1了,好久没看这个项目了.今天更新下本地仓库,编译下竟然出错了. $mvn compile ...... [ERROR] [Error] /data/code/github/bigdata/spark/core/src/main/scala/org/apache/spark/SparkContext.scala:403: type mismatch; found : Map[String,org.apache.spark.resource.ResourceInforma
spark-2.3.1-bin-hadoop2.7.zip
10-12
这次我们讨论的是Spark 2.3.1与Hadoop 2.7的集成版本，名为"spark-2.3.1-bin-hadoop2.7.zip"的压缩包。 首先，Spark的核心设计理念是快速数据处理。它通过内存计算大大提高了数据处理的速度，对比传统的基于磁盘的...
spark-2.3.1-bin-hadoop2.9-without-hive.tgz
02-22
在描述中提到的"spark-2.3.1-bin-hadoop2.9-without-hive.tgz"是一个特别构建的Spark发行版，不包含Hive的支持，意味着这个版本的Spark没有内置与Hive交互的能力。 在大数据处理领域，Spark以其内存计算特性而闻名...
spark-2.3.1-bin-hadoop2.7.rar
05-06
"spark-2.3.1-bin-hadoop2.7.rar"是一个压缩包文件，包含了Spark的所有核心组件，包括Spark Core、Spark SQL、Spark Streaming、MLlib（机器学习库）和GraphX（图处理库）。用户无需进行复杂的安装过程，只需将其...
spark-3.2.1-bin-hadoop2.7.tgz
02-20
这个名为"spark-3.2.1-bin-hadoop2.7.tgz"的压缩包是Spark的一个特定版本，即3.2.1，与Hadoop 2.7版本兼容。在Linux环境下，这样的打包方式方便用户下载、安装和运行Spark。 Spark的核心设计理念是快速数据处理，...
spark-2.3.1-bin-hadoop2.6.tgz
09-30
Spark 2.3.1是Apache Spark的一个稳定版本，它是一个快速、通用且可扩展的大数据处理框架。...通过下载并解压"spark-2.3.1-bin-hadoop2.6.tgz"，你可以开始搭建本地或集群的Spark环境，探索这个框架的更多可能性。
hadoop2.7.4 spark2.2.1 最新版本环境搭建
12-17
虚拟机3台服务器搭建集群环境，使用jdk1.8 ，最新的hadoop2.7.4 ，spark2.21。 提供给需要学习环境搭建人员的一点文档参考。 只是基础的环境搭建，不涉及具体开发技术逻辑，请选择下载。（ps：资源分最少只能选择2分，所以请见谅）
spark2.3.1-with-hive
09-07
spark2.3.1-with-hive编译版本，
Spark2.3.1 Shuffle Operations
ThisIsNobody的博客
07-08 485
Shuffle是Spark重新分布数据的机制，跨分区进行数据分组，跨执行器和机器进行数据拷贝，复杂且代价高背景1) 以reduceByKey操作为例，把单个key的所有值reduce并生成一个新的RDD，reduce函数应用到和这个key相关的所有value上，使得完成这个操作要使用到所有分区的所有键值对2) Spark的分区不是按照特定的操作来划分的，一个单独的reduceByKey任务在一个单...
Spark2.3.1的安装运行(伪分布式)
派大星的博客
08-23 808
spark安装运行
Spark2.3.1 常用Transformations和Actions
ThisIsNobody的博客
07-08 317
Spark2.3.1源码编译
Trony的博客
11-02 211
最近捣鼓了一下Spark源码的编译，下载源码什么的网上都有，我主要研究了Spark Core和Spark on Yarn的源码，一般的步骤网上都有，就不在这里说了，我是把Spark2.3.1的源码导入到了idea中进行编译的，导入到idea中可以很方便的进行二次开发。这里我就说说遇到的两个坑的地方吧。 环境： Win10 Scala 2.11.12 jdk1.8 maven 3.3.9 idea 2021.2.3专业版 坑一：在Core的pom文件中修改 坑二.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值