hadoop学习（三）

代码搬运工0106

于 2018-12-21 16:22:50 发布

阅读量140

点赞数

分类专栏：学习文章标签： hadoop

本文链接：https://blog.csdn.net/j_noob/article/details/85164042

版权

4 篇文章

订阅专栏

本文详细介绍了伪分布模式下Hadoop环境的搭建过程，包括关键配置文件hadoop-env.sh、yarn-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml和mapred-site.xml的修改要点，确保Hadoop集群在一个节点上正确运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

伪分布环境搭建（三）

hadoop-env.sh

export JAVA_HOME=/data/soft/jdk1.8

export HADOOP_LOG_DIR=/data/hadoop_repo/logs/hadoop

yarn-env.sh

export JAVA_HOME=/data/soft/jdk1.8

export YARN_LOG_DIR=/data/hadoop_repo/logs/yarn

core-site.xml

<name>fs.defaultFS</name>

<value>hdfs://hadoop100:9000</value>

</property>

<name>hadoop.tmp.dir</name>

<value>/data/hadoop_repo</value>

</property>

</configuration>

hdfs-site.xml

# 集群中1个从节点，所以这个副本参数只能设置为1。

<name>dfs.replication</name>

</property>

</configuration>

yarn-site.xml

<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

mapred-site.xml

mv mapred-site.xml.template mapred-site.xml

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>