努力有什么不好-CSDN博客

原创 ProxySQL代理安装步骤及自定义服务端口

如果需要再修改proxySQL的服务端口，博主试过直接修改配置文件后重启proxy服务但是修改并未生效，通过执行下面SQL语句修改也未生效。最后的方法是找到proxysql.db文件，删掉这个文件且重新初始化proxySQL。如果，你的版本是GnuTLS 2.8.x ，主要的库文件为/usr/lib64/libgnutls.so.28。如果，你的版本是GnuTLS 3.x，是较新的版本，主要的库文件为/usr/lib64/libgnutls.so.30。修改proxysql.cnf文件配置项。

2025-05-16 11:56:33 374

原创 iceberg轨迹表生成

或者指定时间戳，获取指定时间范围的数据变化轨迹。能够捕捉数据的增、删、改。_change_type：更改的类型。它具有以下值之一：INSERT、DELETE、UPDATE_BEFORE 或 UPDATE_AFTER。identifier_columns：用于捕捉数据变化的标识列。可设置为主键，捕捉这条记录的增、删、改。_commit_snapshot_id：发生更改的快照 ID。_change_ordinal：更改顺序，从0开始。changelog_view：创建视图的名称。table：必输，表名。

2025-05-06 12:02:04 326

原创自定义AsyncTableFunction后，eval 方法参数类型总是报错

如果不是使用FlinkSQL开发，可以使用DataStream API 实现 Async I/O，实现RichAsyncFunction。自定义异步表函数AsyncTableFunction后，在Flink SQL中使用时，总是报错函数签名不匹配的。如果使用FlinkSQL开发，可以实现TableFunction，并创建线程池用于异步查询。尝试修改eval函数如下，强制输入的类型为string。修改成如下的代码，表示 eval 的参数可以是任意类型。还是报错，报错信息同上。报错，报错信息同上。

2025-03-26 17:17:50 312

原创 Flink集群的类加载机制导致某些配置或代码逻辑被覆盖的问题解决方案

博主在测试flink开发任务的时候发现，以下代码在本地测试的时候没有问题，但是上传到flink集群中跑的时候，数据发送不到指定的kafka主题sinkTopic，而是发送了其他的 topic。...

2025-03-20 16:22:58 567

原创 Flink1.17.1standalone集群部署中主节点日志连接taskmanager的拒绝连接解决方案（拒绝连接: localhost/127.0.0.1:36125）

Flink 使用 Akka 进行 JobManager 和 TaskManager 之间的通信。Akka 的通信地址需要正确配置为 JobManager 的实际 IP 或主机名。在集群部署时配置了rpc通信 jobmanager.rpc.address: jobManager IP，但是还是报错。[java.net.ConnectException: 拒绝连接: localhost/127.0.0.1:36125]需要增加 Akka 的通信地址配置。TaskManager的配置。

2025-03-18 15:30:38 386

原创 Flink1.17.1实现表函数后返回Row类型SQL自动处理为一个字段的解决办法，适用FlinkSQL开发

但是在FlinkSQL中使用的时候发现，SQL 中默认只显示为一个字段，这是因为 SQL 引擎在处理这类数据时，默认会将 ROW 类型的数据作为一个整体来处理，而不是将其拆分为单独的列。在Flink实时数据关联MySQL维表时，如果数据量太大，通常无法全量加载到flink中，因此博主自定义一个lookup表函数。2. SQL中再拆分。

2025-03-12 16:31:40 932

原创 Flink1.17.1 upsert-kafka连接器好像不支持时间戳

博主在测试的时候发现，普通的kafka连接器使用时间戳TIMESTAMP或者TIMESTAMP_LIZ没有问题，但是upsert-kafka连接器使用的时候就是报错。

2025-03-07 16:23:48 279

原创 Flink1.17.1部署中JDBC连接器配置（各种Connectors使用，持续更新中）

下载地址https://mvnrepository.com/artifact/org.apache.flink/flink-connector-jdbc/3.1.1-1.17，下载flink-connector-jdbc-3.1.1-1.17.jar。博主的Flink集群中已经上传了mysql-connector-java-8.0.27.jar，要用执行FlinkSQL，还需要上传flink-connector-jdbc的jar包。因博主前期配置了mysql-cdc，需要配置的可以参考博主主页另一篇文章。

2025-03-06 16:56:55 1014

原创 FlinkSQL类型转换问题

报错原因，Flink1.17.1，FlinkSQL不支持INT和VARCHAR类型的隐式转换，如果需要可以使用 CAST 函数将类型统一。例如，将 VARCHAR 类型转换为 INT，或者将 INT 类型转换为 VARCHAR。

2025-03-04 17:14:31 353

原创 Flink1.17.1本地单节点部署，并支持连接mysql-cdc

Flink官网中问答部分有介绍flink-sql-connector-mysql-cdc和flink-connector-mysql-cdc的区别以及使用场景，flink-sql-connector-mysql-cdc包括了Flink SQL执行所需的依赖，是个fat jar，只需导入这个包就可以执行Flink SQL连接mysql-cdc。下载flink-sql-connector-mysql-cdc-2.4.2.jar，上传到lib目录。验证insert、delete、update操作，能实时更新。

2025-02-28 14:17:49 348

原创 Flink自定义KafkaSource报错java.lang.IllegalStateException

在IDEA中执行测试自定义KafkaSource报错，Flink程序如下：@Test原因：java.lang.IllegalStateException: No ExecutorFactory found to execute the application 这个错误通常是由于 Flink 无法找到合适的执行器工厂来执行应用程序。这通常与 Flink 的依赖配置有关，尤其是在本地执行时。

2025-02-18 10:49:11 196

在搭建Flink实时数仓，欢迎交流～