Spark环境搭建
安装步骤分为java, hadoop, scala和 spark四步,其中java和hadoop在上一个环境配置中已经安装完毕,Win10下的Hadoop安装及简单操作,因此只需要安装 scala和 spark。以下是对我整个安装过程的记录。
首先登陆http://spark.apache.org/downloads.html下载符合本机Hadoop和JDK版本的Spark安装包,我的Hadoop版本是2.8.4因此下载了2.4.0版本的Spark。
下载完成后进行解压在D盘的根目录下,设置环境变量。
首先新建一个环境变量SPARK_HOME,变量名是安装的路径: