ubuntu18.04安装pyspark+jupyter指南

最新推荐文章于 2024-03-02 11:42:59 发布

acm_cxq

最新推荐文章于 2024-03-02 11:42:59 发布

阅读量862

点赞数

文章标签： spark hadoop

本文链接：https://blog.csdn.net/acm_cxq/article/details/115942274

版权

本文介绍了在Ubuntu18.04上安装PySpark和Jupyter的详细步骤，包括遵循特定博主的教程进行JDK、Spark、PySpark的安装，并强调不需要安装Hadoop。特别指出，若使用Jupyter，无需安装Zeppelin。同时，文章提醒注意JDK版本（1.8.0_281）、Spark（2.4.7-bin-hadoop2.7）和Python（3.7.0）的选择，避免使用不兼容的Anaconda版本。通过修改~/.bashrc文件设置环境变量，确保PySpark在Jupyter中正常运行，解决可能遇到的py4j问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. jdk，spark，pyspark的安装请按照这位博主的教程进行，注意不需要安装hadoop

如果是使用jupyter运行的话，不需要安装第五步zeppelin

我的jdk版本是1.8.0_281，spark是2.4.7-bin-hadoop2.7，python是3.7.0（注意Anaconda版本不能太新，pyspark不支持python3.8以上的版本）

2. vim ~/.bashrc修改环境变量，在末尾添加

export JAVA_HOME=/home/cxq/java/jdk1.8.0_281
export JRE_HOME=/home/cxq/java/jdk1.8.0_281/jre
export SPARK_HOME=/home/cxq/spark/spark-2.4.7-bin-hadoop2.7
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${SPARK_HOME}/bin:$PATH
export PYSPARK_PYTHON=python3
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"

# added by Anaconda3 5.3.1 installer
# >>> conda init >>>
# !! Contents within this block are managed by 'conda init' !!
__conda_setup="$(CONDA_REPORT_ERRORS=false '/ho

最低0.47元/天解锁文章