【Apache paimon】-- 集成 hive3.1.3 异常

目录

1、场景再现

Step1:在 hive cli beeline 执行创建 hive paimon 表

Step2:使用 insert into 写入数据

Step3:抛出异常

2、原因分析

Step1:在 yarn resource manager 作业界面查询 hive sql mr job 的 yarn log 

Step2:搜索job 使用的 zstd jar 版本

Step3:定位 hive lib 目录

3、解决

Step1:创建一个 maven 项目

Step2:替换 zstd 包

Step3:重启 hiveserver2 和 hive metastore

Step4:成功写入数据


1、场景再现

软件版本:

  • apache hive 3.1.3
  • apache hadoop 3.1.0
  • Oracle jdk 1.8
  • apache paimon 0.9.0

Step1:在 hive cli beeline 执行创建 hive paimon 表

create database paimon;

use paimon;

SET hive.metastore.warehouse.dir=hdfs:///user/hive/warehouse;

CREATE TABLE hive_test_table_paimon_2(
    a INT COMMENT 'The a field',
    b STRING COMMENT 'The b field'
)
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler';
为什么要学习这门课程?·新一代流式数据湖技术组件深入讲解,帮助你快速构造数据湖知识体系。·为构建湖仓一体架构提供底层技术支撑。本课程将从原理、架构、底层存储细节、性能优化、管理等层面对Paimon流式数据湖组件进行详细讲解,原理+实战,帮助你快速上手使用数据湖技术。讲师介绍华为HCIP认证大数据高级工程师北京猎豹移动大数据技术专家中科院大数据研究院大数据技术专家51CTO企业IT学院优秀讲师电子工业出版社2022年度优秀作者出版书籍:《Flink入门与实战》、《大数据技术及架构图解实战派》。本课程提供配套课件、软件、试题、以及源码。课程内容介绍:1、什么是Apache Paimon2、Paimon的整体架构3Paimon的核心特点4、Paimon支持的生态5、基于Flink SQL操作Paimon6、基于Flink DataStream API 操作Paimon7、Paimon中的内部表和外部表8、Paimon中的分区表和临时表9、Paimon中的Primary Key表(主键表)10、Paimon中的Append Only表(仅追加表)11、Changelog Producers原理及案例实战12、Merge Engines原理及案例实战13Paimon中的Catalog详解14、Paimon中的Table详解15、PaimonHive Catalog的使用16、动态修改Paimon表属性17、查询Paimon系统表18、批量读取Paimon19、流式读取Paimon表20、流式读取高级特性Consumer ID21Paimon CDC数据摄取功能22、CDC之MySQL数据同步到Paimon23、CDC之Kafka数据同步到Paimon24、CDC高级特性之Schema模式演变25、CDC高级特性之计算列26、CDC高级特性之特殊的数据类型映射27、CDC高级特性之中文乱码28、Hive引擎集成Paimon29、在Hive中配置Paimon依赖30、在Hive中读写Paimon31、在Hive中创建Paimon32、HivePaimon数据类型映射关系33Paimon底层文件基本概念34、Paimon底层文件布局35、Paimon底层文件操作详解36、Flink流式写入Paimon表过程分析37、读写性能优化详细分析38、Paimon中快照、分区、小文件的管理39、管理标签(自动管理+手工管理)40、管理Bucket(创建+删除+回滚)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

oo寻梦in记

你的鼓励将是我创作的最大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值