Hudi Flink SQL源码调试学习（二）- Transformation/StreamOperator总结 - StreamGraph和JobGraph的生成过程

已于 2023-12-18 19:54:31 修改
阅读量295 收藏
点赞数
分类专栏： Flink Hudi 源码 文章标签： flink hudi 源码
于 2023-08-29 09:10:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dkl12/article/details/132554039
版权
本文详细介绍了Hudi Flink SQL源码中，如何通过Transformation和StreamOperator写入Hudi，特别是Hudi自定义的Pipelines如hoodieStreamWrite、append等。文章探讨了Flink的DataStream API和Table API的执行流程，重点解析了StreamGraph和JobGraph的生成过程，帮助理解Flink如何从API入口到执行Hudi自定义操作的逻辑。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：https://www.captainai.net/dongkelun

前言

和上篇文章Hudi Flink SQL源码调试学习（一）一样：本着学习hudi-flink源码的目的，利用之前总结的文章中的代码进行调试,记录调试学习过程中主要的步骤及对应源码片段。

本文主要总结 Flink 的 Transformation、StreamOperator, 写Hudi与 Transformation、StreamOperator的关系以及Hudi有哪些自定义的 StreamOperator，还有Flink的四层执行图以及 StreamGraph 和 JobGraph 的生成构建过程。

版本

  • Flink 1.15.4
  • Hudi 0.13.0
<
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Hudi Flink SQL源码调试学习（一）
主要分享大数据相关的知识，如Spark、Hudi
07-31 1145
本着学习hudi-flink源码的目的，利用之前总结的文章Hudi Flink SQL代码示例及本地调试中的代码进行调试,记录调试学习过程中主要的步骤及对应源码片段。本文主要简单记录了自己调试 Hudi Flink SQL 源码的过程，并没有对源码进行深入的分析（自己水平也不够）。主要目的是为了弄清楚从Table API的入口到返回的主要代码步骤以及在哪里调用的的的方法体以进行后面的写Hudi逻辑，这样便于后面对Hudi源码的分析和学习。本文新学习知识点：函数式接口以及对应的 Lambda 表达式的实现。
Flink 日志总结
主要分享大数据相关的知识，如Spark、Hudi
12-25 1640
总结一下 Flink 项目代码打印日志的配置。
Flink 学习笔记（源码篇）＜一＞ ——Transformation
Robin.X.YUAN的博客
04-05 1980
DataStream 类中包含了一个 Transformation 类型的对象，该 Transformation 对象实际保存了节点的转换信息，以 DataStream 的 map 方法为例： public <R> SingleOutputStreamOperator<R> map( MapFunction<T, R> mapper, TypeInformation<R> outputType) { return transform("
Flink之转换算子Transformation
积跬步，至千里。
10-16 883
Flink中的转换算子是指对输入数据流进行转换操作的一类算子，它是将一个或多个DataStream转换为新的DataStream
Flink SQL 执行框架源码
03-16 75
2. 然后使用优化器基于规则进行等价变换，例如我们比较熟悉的谓词下推、列裁剪等，经过优化器优化后得到最优的查询计划（RelNode–>RelNode），先基于calcite rules 去优化logical Plan, 再基于Flink定制的一些优化rules去优化logical Plan。经过优化器处理后，得到的逻辑树中的所有节点都是FlinkPhysicalRel ，以待生成物理执行计划了，也就是第三步 translateToExecNodeGraph()
flink sql 执行源码走读全流程
weixin_40954192的博客
03-01 2878
文章目录 前言 一、flinksql 流程图 二、flinksql 源码分析 三、flink hive sink 源码 总结 我亲爱的flinksql！ 前言 文章主要介绍了flinksql 的工作流程， 1.to SqlNode 解析阶段，生成AST（抽象语法树） 2. SqlNode -> RelNode -> Operation 基于RBO,CBO做优化。 3.RelNode -> ExecNode 从逻辑计划转换为物理执行计划 4.Exec...
Flink源码分析 | 读取HBase配置
主要分享大数据相关的知识，如Spark、Hudi
12-18 1225
上面文章中总结了Flink 获取 HBase 配置的逻辑和优先级，但是并没有对源码进行分析，本文主要是补充这一部分的源码分析。
Apache Spark 学习路径
Davina_yu的博客
11-08 982
什么是Apache Spark？Apache Spark是一个快速的、通用的大规模数据处理引擎。Spark的历史和发展起源于2009年的加州大学伯克利分校AMPLab项目。成为了Apache软件基金会的一个顶级项目。Spark的优势和应用场景内存计算，快速迭代。应用于批处理、交互式查询、流处理、机器学习等。Spark生态系统概览包括Spark Core, Spark SQL, Spark Streaming, MLlib, GraphX等。
Flink源码阅读之Flinksql执行流程
weixin_41608066的博客
07-03 2032
基本结构 Planner接口 负责sql解析、转换成Transformation Executor接口 负责将planner转换的Transformation生成streamGraph并执行 public interface Planner { /** * Retrieves a {@link Parser} that provides methods for parsing a SQL string. * * @return initialized {@link Parser} */
Apache Hudi初探(二)(与flink的结合)--flink写hudi的操作(JobManager端的提交操作)
monkeyboy_tech的博客
08-21 2307
在Apache Hudi初探(一)(与flink的结合)中，我们提到了,这个操作真正写hudi是在方法下的,具体分析一下写入的过程。对于这个代码片段，我们主要看 这个对象(这个操作是Flink框架的操作): 最主要的算子为,其中最主要的操作是由来完成的： 操作，主要是做一些初始化的操作 获取当前的task的索引下标，用来向发送event给,之后 StreamWriteOperatorCoordinator() 进行处理，后续会说到StreamWriteOperatorCoordinator 初始化hu
Flink写入数据到Hudi数据湖的各种方式 + Flink从Hudi数据湖读取数据的各种方式
Bulut0907
06-13 6106
目录1. CDC Ingestion 1. CDC Ingestion 有两种方式同步数据到Hudi 使用Flink CDC直接将Mysql的binlog日志同步到Hudi 数据先同步到Kafka/Pulsar等消息系统，然后再使用Flink cdc-format将数据同步到Hudi 注意：1. 如果upstream不能保证数据的order，则需要显式指定write.precombine.field 2. MOR类型的表，还不能处理delete，所以会导致数据不一致。可以通过changelog.enab
基于 Flink+Paimon+Hologres 搭建淘天集团湖仓一体数据链路
Ververica的博客
05-28 1275
本文整理自淘天集团高级数据开发工程师朱奥老师在 Flink Forward Asia 2024 流式湖仓论坛的分享。
Flink 写入 Redis 的方法与第三方库
qq_43775642的博客
05-30 384
Flink写入Redis的主要方法包括：1. 使用Flink DataStream API结合Jedis直接操作Redis；2. 推荐使用bahir-flink的Redis Connector，提供深度集成方案；3. Lettuce异步客户端适合高性能场景；4. 高级方案可结合Flink State实现批量写入；5. Redisson支持分布式特性。性能优化建议包括配置连接池、批量写入、序列化优化等。不同方案各具特点：Jedis简单易用但性能一般，Bahir Connector集成度高但功能基础，Lettu
使用 Amazon Q Developer CLI 快速搭建各种场景的 Flink 数据同步管道
亚马逊云科技专栏
06-04 682
在 AI 和大数据时代，企业通常需要构建各种数据同步管道。例如，实时数仓实现从数据库到数据仓库或者数据湖的实时复制，为业务部门和决策团队分析提供数据结果和见解；再比如，NoSQL 游戏玩家数据，需要转换为 SQL 数据库以供运营团队分析。那么，到底如何构造稳定而快速的数据 ETL 管道，并且可以进行数据合并或转换？📢限时插播：Amazon Q Developer 来帮你做应用啦1!🌟10分钟帮你构建智能番茄钟应用，1小时搞定新功能拓展、测试优化、文档注程和部署⏩快快点击进入《》实验。
Flink 重启后事件被重复消费的原因与解决方案
长河的博客
06-03 801
Flink 是一个强大但“状态驱动”的系统，一切幂等、容错、精确语义的背后，都依赖 checkpoint 的精确控制和 Source/Sink 的协同。Flink 重启后并不是“理所当然”地继续执行，而是带着上一次 checkpoint 的记忆“穿越回来”继续工作。如果中间没有状态标记，事件自然可能被重复读取和处理。因此我们在实际使用 Flink 时，应从以下几个方面着手提高系统的鲁棒性：明确语义需求（Exactly-Once vs At-Least-Once）；
Flink进阶之路：解锁大数据处理新境界
£菜鸟也有梦的博客
06-04 1084
本文系统介绍了Apache Flink流处理框架的进阶知识与实际应用。首先回顾了Flink的基础架构和编程模型，重点阐述了数据类型与序列化、双流Join操作、复杂事件处理(CEP)和状态管理等核心技术。然后通过实时智能推荐、欺诈检测和实时数仓等典型应用场景，展示了Flink的强大功能。最后深入探讨了网络传输、状态管理和检查点等性能优化策略。文章指出Flink凭借其优异的实时处理能力，已成为大数据处理领域的重要工具，未来将持续扩展在智能化数据处理方面的应用前景。
从0到1，带你走进Flink的世界
£菜鸟也有梦的博客
06-03 1048
本文系统介绍了Apache Flink流处理框架的核心概念和应用场景。首先阐述了Flink作为分布式流处理框架的特点，能够同时处理有界和无界数据流。其次详细解析了Flink的分层架构设计，包括API层、执行引擎层和资源层，并深入讲解了JobManager和TaskManager两大核心组件的工作原理。文章重点探讨了Flink的五大核心概念：数据流与数据集、转换操作、窗口机制、时间语义以及状态与检查点机制，通过电商、金融等实际案例说明其应用价值。
Flink
2303_82176667的博客
05-29 1281
摘要： Apache Flink是分布式开源流处理框架，支持实时/批量计算，源于Stratosphere项目，现为Apache顶级项目。其核心优势包括批流一体、精确状态管理、低延迟高吞吐，广泛应用于事件驱动型应用（如反欺诈）、流式分析（如实时监控）和数据流水线（如持续ETL）。相比传统架构，Flink通过本地状态访问和流式处理提升性能，技术栈涵盖SQL/API、机器学习及多种部署模式。体系采用Master-Slave架构（JobManager/TaskManager），支持YARN/Kubernetes等集
DeepSeek本地部署及WebUI可视化教程
最新发布
06-04
DeepSeek是近年来备受关注的大模型之一，支持多种推理和微调场景。很多开发者希望在本地部署DeepSeek模型，并通过WebUI进行可视化交互。本文将详细介绍如何在本地环境下部署DeepSeek，并实现WebUI可视化，包括Ollama和CherryStudio的使用方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董可伦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值