使用脚本实现hadoop-yarn-flink自动化部署

core321

已于 2024-12-11 09:53:01 修改

阅读量1k

点赞数 11

分类专栏：大数据 Flink 文章标签： hadoop flink yarn 脚本部署

于 2024-11-25 11:42:46 首次发布

本文链接：https://blog.csdn.net/taotao_guiwang/article/details/144022938

版权

本文使用脚本实现hadoop、yarn、flink的快速部署（单机部署）。
环境：①操作系统：CentOS7.6；②CPU：x86；③用户：root。

1.前置条件

把下面的的脚本保存到“pre-install.sh”文件，“sh pre-install.sh”执行。
脚本如下：

#!/bin/bash  
# 检查JAVA_HOME环境变量是否设置  
if [ -z "$JAVA_HOME" ]; then  
    echo "JAVA_HOME环境变量未设置，脚本将退出。"  
    exit 1
fi

# 文件路径  
FILE="/etc/sysctl.conf"  
  
# 要添加的内容  
LINE="vm.max_map_count=2000000"  
  
# 使用 grep 检查 vm.max_map_count 是否已存在，修改/etc/sysctl.conf vm.max_map_count=2000000
if ! grep -q "^vm\.max_map_count=" "$FILE"; then  
    # 如果不存在，则添加到文件末尾  
    echo "$LINE" >> "$FILE"  
    sudo sysctl -p  
fi

# 修改handlers数
if ! grep -q "* soft nofile 65536" /etc/security/limits.conf; then
    echo "* soft nofile 65536" >> /etc/security/limits.conf
fi

if ! grep -q "* hard nofile 65536" /etc/security/limits.conf; then
    echo "* hard nofile 65536" >> /etc/security/limits.conf
fi

##关闭交换分区
swapoff -a 

# 定义要检查的变量和值  
HADOOP_HOME="/home/hadoop-3.3.3"  
FLINK_HOME="/home/flink-1.14.0"  

# 检查HADOOP_HOME是否已经设置  
if ! grep -q "export HADOOP_HOME=" /etc/profile; then  
    echo "export HADOOP_HOME=$HADOOP_HOME" >> /etc/profile  
    echo "export PATH=\$PATH:\$HADOOP_HOME/bin:\$HADOOP_HOME/sbin" >> /etc/profile
    echo "export HADOOP_CONF_DIR=