Mac中使用brew更新Spark至3.2.0

最新推荐文章于 2024-10-14 22:45:06 发布
最新推荐文章于 2024-10-14 22:45:06 发布
阅读量2.5k 收藏 2
点赞数
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangvalue/article/details/124354912
版权
本文档介绍了如何在Mac系统中通过brew更新Apache Spark到3.2.0版本。首先，由于权限问题遇到错误，解决方案是使用sudo chown命令更改目录权限。然后，通过brew安装最新版Spark。安装完成后，确定Spark的安装路径，并在.base_profile文件中设置相关环境变量和别名以方便使用。最后，验证spark-shell确保更新成功。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Mac中使用brew更新Spark至3.2.0

当前Mac中安装的spark版本比较旧为2.3.0

在这里插入图片描述

使用brew install spark

在这里插入图片描述

出现问题：

在这里插入图片描述

Error: Permission denied @ apply2files - /usr/local/lib/docker/cli-plugins

解决方法：

sudo chown -R $(whoami) $(brew --prefix)/*

在这里插入图片描述

下载apache-spark

brew install apache-spark

在这里插入图片描述

https://ghcr.io/v2/homebrew/core/apache-spark/manifests/3.2.0

Spark3.2.0的安装路径

/usr/local/Cellar/apache-spark/3.2.0

在这里插入图片描述
在这里插入图片描述

相关配置文件都在.base_profile

在这里插入图片描述

在这里插入图片描述

export SPARK_HOME=/usr/local/Cellar/apache-spark/3.2.0
export PATH=$PATH:$SPARK_HOME/bin
alias start-spark='$SPARK_HOME/libexec/sbin/start-all.sh'
alias stop-spark='$SPARK_HOME/libexec/sbin/stop-all.sh'

验证一下spark-shell

在这里插入图片描述

开源框架：Sparkle for macOS软件版本自动更新产品实践
群鸿
01-12 3320
Sparkle是一个非常简单且易用的macOS应用程序更新框架，目前众多知名macOS App都在使用，包括微信、迅雷等，如下图： 官网地址：https://sparkle-project.org/ Github：https://github.com/sparkle-project/Sparkle 原理：提前在服务器配置好的xml文件，然后每次启动后解析xml，查看是否有比当前版本新的数据，有的话提示更新，注意检查的是Build，即CFBundleVersion的值。 具体操作如...
MacOS上搭建Spark环境
好记性不如烂笔头
05-15 1503
安装JDK 没有安装的直接去Oracl官网下载相应的JDK版本安装即可。 安装过JDK，可以使用下面命令查看当前安装了哪些JDK版本。 /usr/libexec/java_home -V 下面是笔者机器上安装的JDK版本，已经当前正在使用的版本。 $ /usr/libexec/java_home -V Matching Java Virtual Machines (2): 11.0.14 (x86_64) "Oracle Corporation" - "Java SE 11.0.14" /Libr
mac下spark安装
maenda的博客
03-12 1617
安装环境 macOS 10.13第一步：安装 scala 命令行安装方式：brew install scala验证：$ scala显示：Welcome to Scala version 2.11.6 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_40).Type in expressions to have them evaluated.Type :...
Mac安装Spark
人不风流枉少年
02-25 4681
安装scala brew install scala scala -version 配置环境变量 export SCALA_HOME=/usr/local/Cellar/scala-2.13.1 export PATH=$PATH:$SCALA_HOME/bin 安装spark brew install spark 配置环境变量 export SPARK_HOME=/usr/loca...
在Mac上安装Spark apache-spark-3.5.1
m0_66807384的博客
04-11 2081
安装spark的步骤较为简单，前提是要安装好Hadoop哦。这里我使用brew来安装，如果你安装了homebrew直接在终端里输入brew install apache-spark然后等着就可以了（如果没有安装过brew的参考其他博主的内容去安装哦）上面这个就是用brew安装好的样子切换到spark3.5.1的目录下，然后再切换到 libexec/conf 下面先复制一份 spark-env.sh.template 文件然后重命名（用cp命令）为spark-env.sh。
hadoop3.x+scala+spark-mac血泪安装经验！！
weixin_42766102的博客
02-28 984
hadoop3.x+scala+spark-mac血泪安装经验！！总结：hadoop3.x 安装踩坑填坑配置环境变量(hadoop3+scala+spark)scala安装spark安装 总结： 最折腾的步骤是在hadoop的安装，我尝试安装了4次，前两次直接用brew install hadoop+其他博客上的安装教程，后面两次直接按照hadoop官网说的安，第三次是因为我安装在/usr/loc...
spark环境运行程序遇到几个坑
David的专栏
07-17 4877
1.mac下brew安装spark，运行spark-shell或start-all.sh提示spark-config start-master.sh等找不到 建议在spark.apache.org/download.html下载压缩文件，在本地解压后修改环境变量即可。 brew安装的spark，sbin目录在安装目录的libexec下面，运行脚本都是在安装目录／sbin下寻找，如此就会出现运行
Spark简介与安装指南
- **速度快**：Spark使用了内存计算和弹性分布式数据集（RDD），使得它比Hadoop等批处理框架执行速度更快。 - **易用性**：Spark提供了丰富的API，支持多种编程语言，如Java、Scala和Python。它还提供了交互式的Shel
MAC下安装SPARK
l_ibrary的博客
06-07 1398
@MAC 下安装Saprk 参考: https://cloud.tencent.com/developer/article/1423508 1.搭建hadoop 2.执行:brew install scala 终端执行:scala -version查看是否安装成功 命令行输入: vim ~/.bash_profile 增加环境变量 export SCALA_HOME=/usr/local/Cellar/scala/2.13.2 (对应自己的安装版本) export PATH=PATH:PATH:PAT
macOS spark的安装与运行
热门推荐
hil2000的专栏
06-03 1万+
1.访问spark官网https://spark.apache.org/，然后单击download连接https://spark.apache.org/downloads.html 2.进入download界面后，选择类型为Pre-buil for Apache Hadoop2.7 and later，这样就不用事先安装Hadoop了 3.单击download spark后的连接，下载...
mac下升级框架sparkle
冯建华的专栏
04-01 2274
mac下的升级框架sparkle, 省去了很多的开发成本 如图效果   网站地址 http://sparkle.andymatuschak.org/ 源码地址 https://github.com/andymatuschak/Sparkle/tree/master 源码拿到后，需要简单修改才能使用 1. 打开ConfigCommon.xcconfig文件 找到SDKROOT, 将其...
mac下安装配置Spark
岸芷汀兰
03-08 3552
安装scala参考陋室 1. 解压scala到/usr/local/share/scala下 2. 配置scala环境变量 sudo su vi etc/profile 添加 export PATH=”$PATH:/usr/local/share/scala/bin”配置Spark参考
Mac 下面做自己动更新 使用sparkle.framework
ch_soft的专栏
10-10 2705
parkle 动作很简单， 1. 检测你在软件里定义的plist升级文件，比较网站上该软件有最新版本号和当前运行版本号。如果有新版本号提示用户 2. 如果用户点确定下载新软件包 3. 解压，替换程序 4. 重启动程序 这步骤基本已经是Mac下软件升级的标准步骤了。
brew 查看spark版本
weixin_34618526的博客
06-29 175
通过brew查看Spark版本 Apache Spark是一个快速的通用计算引擎，可用于大规模数据处理。如果您在macOS上使用Spark，您可能会使用Homebrew来安装和管理软件包。在本文中，我们将介绍如何使用brew命令来查看您计算机上安装的Spark版本。 什么是Homebrew？ Homebrew是一个macO...
MAC OS 如何安装 PySpark
willduan的博客
04-30 3758
Apache Spark是用 Scala编程语言 编写的。为了用Spark支持Python，Apache Spark社区发布了一个工具PySpark。使用PySpark，您也可以使用Python编程语言中的 RDD 。正是由于一个名为 Py4j 的库，他们才能实现这一目标。 PySpark提供了 PySpark Shell ，它将Python API链接到spark核心并初始化Spark上下文。今...
突破解决brew install无法访问国内网络问题
最新发布
敏叔
10-14 2070
使用mac的同学都会经常使用brew 工具安装,我本来是需要安装一下ffmpeg来着，我就执行以下命令这种情况还是好的，是安装慢，但是啊，好不容易下载完成后面伴有下面这种提示安装失败，死活也安装不了。。。
Mac安装Netcat教程
itzhuzhu的博客
02-13 6444
Mac安装Netcat教程
下载gcc报错解决方案记录
weixin_43836257的博客
08-04 1371
macOS 安装gcc 报错解决方案记录
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zhangvalue

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值