kafak producer报bootstrap.servers DNS无法解析错误 &hosts文件修改

最新推荐文章于 2025-03-04 10:41:02 发布
最新推荐文章于 2025-03-04 10:41:02 发布
阅读量9.4k 收藏
点赞数
分类专栏： Java&web
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhang_xiaomeng/article/details/78427915
版权
工程启动不了：
2017-11-01 09:53:46,704 [RMI TCP Connection(5)-127.0.0.1][IP:|USER:][DEBUG
                org.apache.kafka.clients.consumer.KafkaConsumer] Starting the Kafka consumer - trace-id=
2017-11-01 09:53:46,741 [RMI TCP Connection(5)-127.0.0.1][IP:|USER:][WARN
                org.apache.kafka.clients.ClientUtils] Removing server from bootstrap.servers as DNS resolution failed: test1.kafka.inner.sunlands:9092 - trace-id=
2017-11-01 09:53:46,757 [RMI TCP Connection(5)-127.0.0.1][IP:|USER:][WARN
                org.apache.kafka.clients.ClientUtils] Removing server from bootstrap.servers as DNS resolution failed: test2.kafka.inner.sunlands:9092 - trace-id=
2017-11-01 09:53:46,791 [RMI TCP Connection(5)-127.0.0.1][IP:|USER:][WARN
                org.apache.kafka.clients.ClientUtils] Removing server from bootstrap.servers as DNS resolution failed: test3.kafka.inner.sunlands:9092 - trace-id=
2017-11-01 09:53:46,795 [RMI TCP Connection(5)-127.0.0.1][IP:|USER:][DEBUG
                org.apache.kafka.clients.consumer.KafkaConsumer] The Kafka consumer has closed. - trace-id=
2017-11-01 09:53:46,797 [RMI TCP Connection(5)-127.0.0.1][IP:|USER:][INFO

https://segmentfault.com/q/1010000006618887/a-1020000006943911


修改hosts文件：

hosts文件配置：

172.16.116.136 test1.kafka.inner.sunlands
172.16.100.203 test2.kafka.inner.sunlands
172.16.117.226 test3.kafka.inner.sunlands

win7运行命令快捷键即是win+R。（有可能与浏览器的冲突，慎用）






点击编辑，勾选修改权限即可。


Spark : DNS resolution failed for url in bootstrap.servers xx:9092
九师兄
07-04 2757
1.美图 2.背景 最近有一个项目中用到spark 连接kafka的代码，然后开始运行的几个任务是没问题的，但是后来的任务就开始报错了。 原来测试的时候：bootstrap.servers这个值一直写的是域名，然后生产和消费数据都没有问题。 然后要升级服务，升级该服务，不涉及kafka的读取相关的变动。但是读取报错，如下，而且，使用ip是可以访问的，但是域名不可以。老的服务是可以的。 Cause...
大数据最佳实践-kafka
program哲学
04-16 6468
kafka各个重难点大全，超详细
Removing server “xxx“ from bootstrap.servers as DNS resolution failed for “xxx“
欢迎来到我的博客
02-21 537
Removing server xxx.com:9092 from bootstrap.servers as DNS resolution failed for xxx.com
kafka consumer 配置失败：Couldn‘t resolve server hadoop-7:9022 from bootstrap.servers as DNS resolution f
大梦的博客
11-29 739
hadoop-7 映射不上ip。
kafka配置
最新发布
大袤宏图
03-04 1010
表示如果消费者组没有初始的偏移量（例如第一次启动），则会从最早的消息开始消费。消费者处理消息的时间较长，可能需要调整这些参数，以避免消费者被错误地认为已失效。：控制消费者从Broker拉取数据的行为，可以根据网络延迟和吞吐量需求进行调整。：在生产环境中，建议配置多个Broker地址（逗号分隔），以提高可用性。例如，可以使用更具业务意义的名称，如。是消费者的组ID，用于标识一组消费者。，并在消息处理完成后手动提交偏移量，以避免消息丢失或重复消费。：检查生产者的序列化配置，确保与消费者端的反序列化配置一致。
Kafka反解域名导致发消息失败：java.io.IOException: Can't resolve address: kafka-05:9092
dinghua_xuexi的专栏
05-08 2743
背景 由于项目需求，需要跨集群向kafka发数据，发数据程序所在集群没有配置目标kafka集群的主机名，所以只能使用目标集群的ip地址。经测试两个集群网络通信是没有问题的。但是发kafka数据程序运行一直报错，显示无法解析主机名。 问题详情 由于跨集群发kafka数据，程序运行所在集群和目标kafka集群属于2个不同集群。为方便描述，程序运行所在集群简称为A集群，目标ka...
kafka生产报错couldn‘t resolve server 9092 from bootstrap.servers as DNS
龍承leo
02-15 8040
报错： couldn't resolve server 9092 from bootstrap.servers as DNS 我的环境： kafka配置的是ip 连接的配置：yml kafkaduceconfig: servers: node11:9092 修改后： kafkaduceconfig: servers: IP:9092 分析：因为hosts配置没有问题，可能是配置kafka的时候写的是ip地址，在代码访问的时候，hostname 不识别。改为ip地址就可...
kafka安装配置
jis117的专栏
02-18 221
[code="java"] cd /test/kafka_2.11-0.9.0.0/bin ./kafka-server-start.sh ./../config/server.properties & [/code] [code="java"] [work@sz-vm-143-111 config]$ cat server.properties # Licensed to th...
kafka启动消费者失败
Mrs_WuHo_O的博客
04-01 7451
bash-4.4# ./kafka-console-producer.sh --broker-list kafka1:9092 --topic testTopic [2020-04-01 01:39:16,119] WARN Couldn't resolve server kafka1:9092 from bootstrap.servers as DNS resolution failed for...
Flume启动错误之：Bootstrap Servers must be specified
努力的凹凸曼的博客
11-01 6062
　　今天测试项目的时候需要启动Flume，然而在启动时遇到了Bootstrap Servers must be specified错误，错误日志如下： [kfk@bigdata-pro01 flume-1.7.0-bin]$ ./flume-kfk-start.sh 2018-11-01 15:00:50,099 (conf-file-poller-0) [ERROR - org.ap...
Linux：程序连接kafka，warn报错，消费组存在挤压
weixin_72585038的博客
04-03 476
data-parser程序正常运行，topic：hrmwrealdata 有实时数据，consumer：ly-group消费积压，processor程序warn日志提示：Couldn't resolve server hmw-kafka-02:6668 from bootstrap.servers as DNS resolution failed for hmw-kafka-02。程序无法解析hosrname，且kafka服务器并没有设置hostname为hmw-kafka-02的信息。
anybackup mysql_AnyBackup-MySQL 配置数据源失败，提示：Key not found(错误码: 0) 错误
weixin_39813574的博客
03-03 824
关键字Key not found适用产品AnyBackup CDM 7.0.9.1AnyBackup Express 7.0.9.1问题描述在使用 AnyBackup 进行 MySQL 数据源配置时，展开数据源失败，且手动添加实例失败，提示如下错误：Key not found(错误码: 0)问题影响AnyBackup 无法完成对 MySQL 数据库的保护。问题原因MySQL 数据库管理员用户与 A...
Kafka中ConsumerConfig源码介绍
杨春建的博客
11-09 4098
Kafka中ConsumerConfig源码 public class ConsumerConfig extends AbstractConfig { private static final ConfigDef config; public static final String GROUP_ID_CONFIG = "group.id"; public static f
Springboot 配置使用 Kafka
friggly的博客
02-22 1万+
As we all know，当今世界最流行的消息中间件有 RabbitMq、RocketMq、Kafka，其中，应用最广泛的是 RabbitMq，RocketMq 是阿里巴巴的产品，性能超过 RabbitMq，已经经受了多年的双11考验，但是怕哪天阿里不维护了，用的人不多，Kafka 是吞吐量最大的一个，远超前两个，支持事务、可保证消息的不丢失（网上说的事务和消息可靠性不支持是说的旧版，2以后就开始支持了），对比来讲，Kafka相对于前两个，只有一个劣势，不太支持延时队列，其他方面都要优于它们。
kafka学习（7）生产者和消费者代码
weixin_34162228的博客
04-15 4779
2019独角兽企业重金招聘Python工程师标准>>> ...
关于kafka连接的一个小问题
三劫散仙
11-22 542
最近有一个项目中用到了java api连接kafka的代码，原来测试的时候：bootstrap.servers这个值一直写的是ip，然后生产和消费数据都没有问题，但在预发测试的时候配合运维的需求，把ip要改成域名来访问，结果就启动就出问题了，启动不起来，抛出的异常如下： [code="java"] DNS resolution failed for url in ....... ...
springboot启动配置文件bootstrap.yml无法加载,导致无法使用配置中心拉取配置启动项目的解决方法
热门推荐
foundtime的博客
03-21 4万+
springboot启动配置文件bootstrap.yml无法加载,导致无法使用配置中心拉取配置启动项目的解决方法 使用springcloud开发项目,需要从配置中心根据需求拉取环境配置,最近在本地开发环境进行调试时,突然发现无法启动项目工程,报错如下: 2019-03-21 15:00:58.392 INFO 155060 --- [ main] c.c.c.ConfigServicePro...
kafak2.4中batch.size和linger.ms怎样设置
03-31
batch.size和linger.ms是Kafka生产者的两个重要参数。 batch.size指定了一个批次的大小，即每次发送到Kafka的消息的数量。默认值为16KB。如果消息的大小小于batch.size，那么这些消息将被累积到同一个批次中发送到Kafka。如果消息的大小大于batch.size，那么这些消息将会被立即发送到Kafka，而不会等待更多的消息加入批次。你可以根据自己的需求调整batch.size的值，以达到最佳性能。 linger.ms指定了一个批次在发送之前等待的时间。默认值为0，表示没有等待时间。如果linger.ms大于0，那么生产者将会等待指定的时间，以便让更多的消息加入到同一个批次中。这样可以减少Kafka的网络负载和I/O操作。你可以根据自己的需求调整linger.ms的值，以达到最佳性能。 一般来说，如果你的消息量比较大，那么可以适当增加batch.size，以减少网络负载和I/O操作。如果你的消息量较小，那么可以适当增加linger.ms，以便让更多的消息加入到同一个批次中，以提高性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值