centos7下hadoop集群部署-三台机器

---

无特殊说明三台机器都进行操作

---

下载地址

https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/hadoop-3.4.0.tar.gz

此处本人解压到/root/hadoop-3.4.0，如果解压到其他地方下面有关路径的需要自行修改

修改三台机器host文件

vim /etc/hosts
192.168.31.210 node1
192.168.31.130 node2
192.168.31.250 node3

配置机器固定ip

vim /etc/sysconfig/network-scripts/ifcfg-ens33
ZONE=public
HWADDR=00:50:56:2C:43:7C
IPADDR=192.168.31.250
NETMASK=255.255.255.0
GATEWAY=192.168.59.255
DNS1=192.168.59.255

重启网卡服务

systemctl restart network

配置三台机器互信

su root -
ssh-keygen -t rsa -b 4096
ssh-copy-id 192.168.31.210
ssh-copy-id 192.168.31.130
ssh-copy-id 192.168.31.250

配置文件

进入hadoop解压后目录
cd /root/hadoop-3.4.0

vim etc/hadoop/workers

加入下面三行

node1
node2
node3

cd etc/hadoop

编辑hadoop-env.sh加入下面内容

vim hadoop-env.sh

export JAVA_HOME=/usr/jdk1.8
export HADOOP_HOME=/root/hadoop-3.4.0
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

编辑 core-site.xml加入下面内容

vim core-site.xml

<configuration>  
        <property>    
                <name>fs.defaultFS</name>    
                <value>hdfs://node1:8020</value>  
        </property>  
        <property>    
                <name>io.file.buffer.size</name>    
                <value>131072</value>  
        </property>
</configuration>

编辑 hdfs-site.xml加入下面内容

vim hdfs-site.xml

<configuration>  
        <property>    
                <name>dfs.datanode.data.dir.perm</name>    
                <value>700</value>  
        </property>  
        <property>    
                <name>dfs.namenode.name.dir</name>    
                <value>/data/nn</value>  
        </property>  
        <property>    
                <name>dfs.namenode.hosts</name>    
                <value>node1,node2,node3</value>  
        </property>
        <property>    
                <name>dfs.blocksize</name>    
                <value>268435456</value>  
        </property>  
        <property>    
                <name>dfs.namenode.handler.count</name>    
                <value>100</value>  
        </property>  
        <property>    
                <name>dfs.datanode.data.dir</name>    
                <value>/data/dn</value>  
        </property>
</configuration>

创建数据存放目录，三节点单独操作

节点一：
mkdir -p /data/nn
mkdir /data/dn

节点二、三：
mkdir -p /data/dn

命令加入环境变量

vim /etc/profile

加入下面代码

export HADOOP_HOME=/root/hadoop-3.4.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

创建hadoop用户

useradd hadoop
passwd hadoop
配置hadoop用户互信

su hadoop
# 一路回车，不用输入
ssh-keygen -t rsa -b 4096
# 按提示输入刚才创建的hadoop用户的密码
ssh-copy-id 192.168.31.210
ssh-copy-id 192.168.31.130
ssh-copy-id 192.168.31.250

授权目录权限给hadoop用户

su - root
chown -R hadoop:hadoop /data
# 此处给root目录的权限是因为我解压到了root目录下，如果解压到其他地方请自行修改
chown -R hadoop:hadoop /root

初始化

su - hadoop
hadoop namenode -format

启动

start-dfs.sh

出现以下内容说明启动成功

停止

stop-dfs.sh

访问web地址

http://192.168.31.210:9870