flink sql作业报错Timeout of 60000ms expired before the position for partition xxx could be determined

文章描述了一个在使用FlinkSQL从Kafka集群读取数据并写入HDFS时遇到的问题,即所有作业都出现订阅的topic分区超时。问题的根本原因是网络问题和域名映射错误,导致无法消费Kafka的topic数据。通过检查Kafka的leader和Isr,以及通过Zookeeper客户端定位问题,发现是由于域名映射到错误的网络IP导致通信失败。最终,通过打通网络并修正域名映射,成功解决了这个问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

问题:
  新增流作业,将kafka集群的数据通过flink sql写入hdfs,所有的flink作业均出现订阅的topic某个分区超时; 且topic的partition数量等于flink 可用的slot数

在这里插入图片描述

原因:
  消费不到kakfa的topic数据,首先看网络问题
(1)通过kafka-topics.sh命令找到topic分区所对应的leader和Isr在这里插入图片描述

(2)连接kafka对应的zookeeper客户端,找到kafka连接超时分区的leader对应的服务器ip
在这里插入图片描述
(3)查看页面,找到出现异常的taskmanager所对应的域名,通过ping和telnet命令测试是否网络正常,发现不通,生产环境存在2套网络,(一套管理ip、一套服务ip),域名映射出错

解决:
  打通此节点和cdh集群之间的网络,配置正确的域名映射

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

但行益事莫问前程

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值