Hive + Sqoop + MySQL + Spark

最新推荐文章于 2025-03-22 00:07:06 发布

王树民

最新推荐文章于 2025-03-22 00:07:06 发布

阅读量1.3k

点赞数

分类专栏： spark

spark 专栏收录该内容

55 篇文章

订阅专栏

本文详细介绍了Hadoop生态系统中Hive、Sqoop、MySQL及Spark的安装配置过程，包括环境变量设置、集群启动及数据处理示例。通过具体步骤展示了如何使用Sqoop从MySQL导入数据至Hive，并利用Spark进行数据统计分析。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

予早关注

2018.12.22 17:31* 字数 363 阅读 293评论 0喜欢 0

安装 Hive +Sqoop+MySQL+Spark
先将 system_logs.sql 导入 MySQL，使用 Sqoop 将 MySQL 中的数据导入 Hive
使用 spark 读取 Hive 中的数据，完成以下要求：
使用 Spark 分别计算 Hive 数据中 params 字段空值和不含空值的 IP TOP5
使用 Spark 统计每月访问次数最多的日期

1. 安装Hive +Sqoop+MySQL+Spark

mysql的安装不再赘述
安装hive

wget http://mirror.bit.edu.cn/apache/hive/hive-3.1.1/apache-hive-3.1.1-bin.tar.gz
tar zxvf apache-hive-3.1.1-bin.tar.gz
mv apache-hive-3.1.1-bin hive
# 修改配置
cp hive-default.xml.template hive-site.xml
# 下载mysql jar包
cp mysql-connector-java-5.1.46-bin.jar hive/lib

编辑hive-site.xml:

<configuration>
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://39.96.19.70:8806/hive</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionDriverName</name>
                <value>com.mysql.jdbc.Driver</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>jie</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionPassword</name>
                <value>1</value>
        </property>
        <property>
                <name>hive.metastore.schema.verification</name>
                <value>false</value>
        </property>
</configuration>

安装sqoop：

wget http://mirror.bit.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
tar zxf  sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop

编辑sqoop-env.sh：(没有安装的注释就好)

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/opt/bigdata/hadoop/hadoop-2.7.3

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/opt/bigdata/hadoop/hadoop-2.7.3

#set the path to where bin/hbase is available
#export HBASE_HOME=

#Set the path to where bin/hive is available
export HIVE_HOME=/opt/bigdata/hadoop/hive

#Set the path for where zookeper config dir is
#export ZOOCFGDIR=

测试：

sqoop list-databases --connect jdbc:mysql://172.17.41.83:8806/bdp --username jie --password 1

安装spark

wget http://mirror.bit.edu.cn/apache/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz
tar zxf spark-2.4.0-bin-hadoop2.7.tgz
mv spark-2.4.0-bin-hadoop2.7 spark
vim spark/conf/spark-env.sh

编辑spark-env.sh：

JAVA_HOME=/opt/bigdata/hadoop/jdk1.8.0_191
SCALA_HOME=/opt/bigdata/hadoop/scala
HADOOP_HOME=/opt/bigdata/hadoop/hadoop-2.7.3
HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_MASTER_IP=master
SPARK_MASTER_PORT=7077
SPARK_MASTER_WEBUI_PORT=8180
SPARK_WORKER_CORES=1
SPARK_WORKER_MEMORY=1g 
SPARK_WORKER_PORT=7078
SPARK_WORKER_WEBUI_PORT=8181
SPARK_WORKER_INSTANCES=1

#export SPARK_DIST_CLASSPATH=$(/opt/bigdata/hadoop/hadoop-2.7.3/bin/hadoop classpath)

vim spark-defaults.conf:

spark.master                     spark://master:7077

vim slaves:

slave1
slave2

#复制hive配置到conf中
cp hive/conf/hive-site.xml spark/conf/hive-site.xml
# 复制mysql jar包到spark jars中
cp hive/lib/mysql-connector-java-5.1.46-bin.jar spark/jars

运行测试：./bin/run-example SparkPi

image.png

导入环境变量

export JAVA_HOME=/opt/bigdata/hadoop/jdk1.8.0_191
export HIVE_HOME=/opt/bigdata/hadoop/hive
export SQOOP_HOME=/opt/bigdata/hadoop/sqoop
export SPARK_HOME=/opt/bigdata/hadoop/spark
export HADOOP_HOME=/opt/bigdata/hadoop/hadoop-2.7.3
export HADOOP_COMMON_HOME=/opt/bigdata/hadoop/hadoop-2.7.3
export HADOOP_CONFIG_HOME=$HADOOP_HOME/etc/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$SQOOP_HOME/bin:$SPARK_HOME/bin:$PATH

启动环境

./hadoop-2.7.3/sbin/start-sll.sh
./spark/sbin/start-all.sh

2. 先将 system_logs.sql 导入 MySQL，使用 Sqoop 将 MySQL 中的数据导入 Hive

将sql文件上传到云主机 rz -E
进入数据库：mysql -h172.17.41.83 -P8806 -ujie -p1

-- 创建数据库bdp
create database bdp;
use bdp;
-- 导入sql
source system_logs.sql

使用Sqoop将数据导入Hive

sqoop import --connect jdbc:mysql://39.96.19.70:8806/bdp --username jie --password 1 --table system_logs \
--target-dir /bigdata/data/sqoop/system_logs \
--delete-target-dir \
--fields-terminated-by '\t' \
--direct

查看导入的数据 hadoop fs -cat /bigdata/data/sqoop/system_logs/* | head

打开hive，导入数据

create database bdp;
drop table if exists bdp.system_logs;
CREATE TABLE bdp.system_logs (
  id int,
  ip string,
  username string,
  visitrecord string,
  visittime TIMESTAMP,
  method string,
  params string,
  clusterid int
) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' ;

load data inpath '/bigdata/data/sqoop/system_logs' into table bdp.system_logs ;
select * from bdp.system_logs limit 10;

参考：https://www.cnblogs.com/xuyou551/p/7998846.html

使用spark计算
打开spark-shell

image.png

原因：内存不足

增加内存后重新打开：

image.png

import org.apache.spark.sql.hive.HiveContext
val hiveCtx = new HiveContext(sc)

// 使用 Spark 分别计算 Hive 数据中 params 字段空值和不含空值的 IP TOP5 
val df=hiveCtx.sql("select distinct ip from bdp.system_logs where params = 'NULL' limit 5").collect().foreach(println)
val df=hiveCtx.sql("select distinct ip from bdp.system_logs where params != 'NULL' limit 5").collect().foreach(println)
// 使用 Spark 统计每月访问次数最多的日期 
hiveCtx.sql("select date_format(visittime, 'y-MM') as m, day(visittime) as d, count(ip) as c from bdp.system_logs group by m,d order by m,c desc limit 100").dropDuplicates(Seq("m")).show()

报错：