Flink SQL Hive Connector使用场景

目录

1.介绍

2.使用

2.1注册HiveCatalog

2.2Hive Read

2.2.1流读关键配置

2.2.2示例

2.2.2.1流读Hive表

2.2.2​​​​​​​.2流读Look up Hive维表

2.2​​​​​​​.2​​​​​​​.3批读Hive表

2.3Hive Write

2.3.1关键配置

2.3.1.1分区写入相关

2.3.1.2小文件合并

2.3.2示例

1.介绍

Apache Flink Hive Connector提供了Flink与Hive的集成，主要用于在Flink中读取和写入Hive数据。以下是一些常见的使用场景：

1.1批处理分析：

Flink可以通过Hive Connector读取Hive中的历史数据进行批处理分析。例如，可以在Flink中编写SQL或Table API查询，对Hive中的数据进行统计分析，然后将结果写回到Hive中。

1.2流处理分析：

Flink可以实时读取流数据（如Kafka中的数据），进行实时处理后，通过Hive Connector将结果写入到Hive中。这样，可以利用Hive的数据仓库功能，将实时处理的结果持久化存储起来，供后续的分析和查询。

1.3数据ETL：

Flink可以通过Hive Connector读取Hive中的数据，进行清洗、转换和加载（ETL），然后将处理后的数据写回到Hive中。这样，可以利用Flink的强大处理能力，对大量的Hive数据进行高效的ETL处理。

1.4数据湖分析&#