python消费kafka数据

该文章描述了在CentOS系统中下载和安装snappy-devel的过程,然后使用pip安装python-snappy和kafka-python库。接着,它展示了一个Python脚本,创建了一个Kafka消费者来监听topic1主题,并打印接收到的消息。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1、下载snappy-devel

wget http://mirror.centos.org/centos/7/os/x86_64/Packages/snappy-devel-1.1.0-3.el7.x86_64.rpm

2、安装snappy-devel

sudo rpm -ivh snappy-devel-1.1.0-3.el7.x86_64.rpm

3、安装python-snappy

pip install python-snappy

4、安装kafka-python

pip install kafka-python

测试代码:

from kafka import KafkaConsumer
consumer = KafkaConsumer('topic1',bootstrap_servers=['127.0.0.1:9092']) 
for message in consumer:
    print(message)

测试效果:

ConsumerRecord(topic='topic1', partition=0, offset=47, timestamp=1673514575286, timestamp_type=0, key=None, value=b'56', headers=[], checksum=None, serialized_key_size=-1, serialized_value_size=2, serialized_header_size=-1)
 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值