CentOS7搭建Hadoop3.1.1

### 在 CentOS 7 上搭建 Hadoop 3.1.1 分布式集群 #### 配置环境 在 CentOS 7 上搭建 Hadoop 3.1.1 的分布式集群涉及多个步骤，包括安装 Java 环境、配置 SSH 密钥登录以及设置 Hadoop 的核心配置文件。以下是详细的说明： #### 安装 JDK 和 设置 JAVA_HOME Hadoop 运行依赖于 Java 环境，因此需要先安装 JDK 并配置 `JAVA_HOME` 变量[^2]。 ```bash sudo yum install java-1.8.0-openjdk-devel -y export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk echo &#39;export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk&#39; >> ~/.bashrc source ~/.bashrc ``` #### 下载并解压 Hadoop 下载 Hadoop 3.1.1 压缩包，并将其解压至指定目录 `/usr/local/hadoop` 中。 ```bash wget https://archive.apache.org/dist/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz tar -zxf hadoop-3.1.1.tar.gz -C /usr/local/ mv /usr/local/hadoop-3.1.1 /usr/local/hadoop ``` #### 配置免密 SSH 登录 为了实现节点间的无密码通信，需配置 SSH 免密登录[^4]。 ```bash ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys ssh localhost ``` #### 修改 Hadoop 配置文件 进入 Hadoop 配置文件所在的目录，并依次修改以下文件的内容。 ##### core-site.xml 编辑 `core-site.xml` 文件，在 `<configuration>` 节点中添加如下内容以定义 NameNode 地址和临时数据存储路径。 ```xml <property> <name>fs.defaultFS</name> <value>hdfs://node1:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/tmp</value> </property> ``` ##### hdfs-site.xml 编辑 `hdfs-site.xml` 文件，用于配置副本数量和其他参数。 ```xml <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/data/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/data/datanode</value> </property> ``` ##### mapred-site.xml 重命名模板文件 `mapred-site.xml.template` 后进行编辑，指定 MapReduce 使用 YARN 框架运行。 ```xml <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> ``` ##### yarn-site.xml 编辑 `yarn-site.xml` 文件，设定 ResourceManager 和 NodeManager 的地址以及其他必要属性。 ```xml <property> <name>yarn.resourcemanager.hostname</name> <value>node1</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> ``` #### 初始化 HDFS 文件系统 执行以下命令初始化 HDFS 名称空间[^3]。 ```bash /usr/local/hadoop/bin/hdfs namenode -format ``` #### 启动 Hadoop 集群服务 启动 HDFS 和 YARN 服务后，可以通过浏览器访问 Web UI 页面验证部署情况。 ```bash start-dfs.sh start-yarn.sh ``` 通过火狐或其他支持的浏览器输入对应的 IP 地址与端口来查看状态页面，例如：http://node1:50070 或 http://node1:8088。