windows 安装配置 hadoop2.7.2 spark2.2.3 初学入门

csdn_dengfan

于 2019-03-10 11:12:30 发布

阅读量2.1k

点赞数 3

分类专栏：大数据文章标签： hadoop spark

本文链接：https://blog.csdn.net/csdn_dengfan/article/details/88375313

版权

本文详细介绍了如何在Windows系统中安装和配置Hadoop 2.7.2以及Spark 2.2.3。内容包括：设置Hadoop的环境变量、配置core-site.xml、hadoop-env.cmd等文件，启动和测试Hadoop集群，以及上传文件到集群。接着讲解了Spark的下载、解压和配置环境变量，最后通过启动spark-shell验证安装成功。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hadoop

1.下载安装包，不赘述了。我解压路径为：E:\soft\hadoop-2.7.2

2.修改etc文件夹下的文件：

core-site.xml：

<configuration>

<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/E:/soft/hadoop-2.7.2/workplace/tmp</value>
</property>
</configuration>

hadoop-env.cmd：

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_144

我的JDK安装目录是C:\Program Files\Java\jdk1.8.0_144，由于Program Files中间有空格，这里会报错，所以用PROGRA~1代替Program Files。如果你的jdk路径没有空格，那么就直接用你自己的路径就好。

hadoop-env.sh ，mapred-env.sh， yarn-env.sh࿱