超级会员免费看
本文详细介绍了Hudi中的KeyGenerator和PartitionValueExtractor的使用，包括NonpartitionedAvroKeyGenerator、GlobalAvroDeleteKeyGenerator、SimpleAvroKeyGenerator等KeyGenerator的用法，以及HiveStylePartitionValueExtractor、SinglePartPartitionValueExtractor等PartitionValueExtractor的提取规则。内容涵盖Hudi键的生成逻辑，以及在Flink中的应用和分区提取策略。
record key与hoodie key
hudi支持数据更新，在upsert语义下，需要用记录级别的主键来表示每行数据的唯一性。主键是由record key和分区路径共同构成的
- record key：记录键，分区下唯一，当为非分区表时等同于主键，虽然在源码中声明了
a recordKey that acts as primary key for a record - hoodie key：由record key + 分区路径组成，所以它是真正表示主键，无论是否分区表
在flink基于状态索引写过程中，基于record key进行哈稀，即同一个record key出现在不同分区，则表示分区值发生了修改(全局索引)
基于bucket写过程中，基于hoodie key进行哈稀，即同一个record key出现在不同分区，则表示是两条不同的记录(非全局索引，不支持分区值修改)
KeyGenerator
hudi中的KeyGenerator就是从行数据中提取record key值和分区值来生成HoodieKey对象。以插件化
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
