超级会员免费看
这篇博客介绍了在使用Flink SQL进行批处理时，遇到MySQL和PostgreSQL数据类型与Flink SQL不完全对应的问题。如MYSQL的BIGINT UNSIGNED在Flink中需转换为BIGINT，TINYINT则需转换为INT。解决这些问题的方法包括修改数据库字段类型或调整Flink SQL的类型。文章提到了pyflink脚本中的注意事项，并指出增量数据采集可通过在Hive中创建分区表并利用where语句过滤条件来实现。
以下为mysql和postgresql与Flink SQL type的数据类型的对应关系，在写flink批处理的时候注意切换数据类型。
实际应用中发现：
MYSQL BIGINT UNSIGNED对应flinksql的 BIGINT 时候报错。临时解决办法：mysql字段BIGINT UNSIGNED改成BIGINT。
MYSQL TINYINT 对应flinksql的 TINYINT 时候报错。解决办法：TINYINT 在flinksql jdbc中改成INT。
对应的pyflink脚本：
from pyflink.dataset import ExecutionEnvironment
from pyflink.table import TableConfig,
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
