本文详细介绍了如何使用Flink CDC连接MySQL，实现数据的实时捕获和处理。首先，讨论了Flink CDC的价值和作用，接着阐述了启用MySQL binlog和设置权限的步骤。然后，讲解了在IDEA中创建Flink CDC Demo的过程，包括代码编写、Maven配置以及SQL客户端的使用。最后，提供了下载和使用Flink CDC相关jar包的指南。
索引
flinkcdc 搭建 flinkcdc使用 flinkcdc demo
flink cdc 模板 flinkcdc连接mysql. flinkcdc配置 flinkcdc安装 flinkcdc实战
概述
flinkCDC是一个jar包.
他的作用: 直接替你读取mysql某张表的history历史数据和最新的binlog.无缝连接后拼接成一张完整的表返回. 用于流处理 实时报表等实时任务.
他的价值: 如果不用flinkcdc. 你需要使用canal maxwell debezium等其他工具配置kafka,然后自己写flink解析,还要设计 hisotry(表之前有的数据) 和 update(binlog监听的数据) 无缝整合(binlog需要找到history同步时的binlogID 这里头涉及到 表锁 全局锁 可重复读事务).
无缝拼接 参考我另一篇文章(https://blog.csdn.net/qq_35515661/article/details/118721386?spm=1001.2014.3001.5501)
使用cdc步骤
1 mysql里面创建个有足够权限的账号.
2 mysql开启binlog等相关操作
3 flink安装flinkCDC jar包
mysql相关设置
因为flinkcdc目前是基于debe
订阅专栏 解锁全文
扫一扫
2222
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
