kafka常用命令

1、单机版测试安装

解压安装包

tar -xf kafka_2.13-3.0.0.tgz 

cd kafka_2.13-3.0.0/bin

启动kafka自带的zk，可以看到2181端口监听

sh zookeeper-server-start.sh ../config/zookeeper.properties &

启动kafka，可以看到9092端口监听

 sh zookeeper-server-start.sh ../config/zookeeper.properties &

2、管理命令

### 创建topic（4个分区，2个副本）旧版
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 4 --topic test

### 创建topic kafka版本 >= 2.2 （亲测）

bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1

### 分区扩容  kafka版本 < 2.2
bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic topic1 --partitions 2

### 分区扩容  kafka版本 >= 2.2
bin/kafka-topics.sh --bootstrap-server broker_host:port --alter --topic topic1 --partitions 2

###  删除topic
bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test

3、自带写入消息和消费消息

### 输入命令控制台测试写入3条消息

# sh kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092

this is my 1 event

this is my 2 event

this is my 3 event

### 从头开始消费消息

 # sh kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092

this is my 1 event

this is my 2 event

this is my 3 event

4、查询

### 查询所有topic详情

sh kafka-topics.sh --describe --bootstrap-server localhost:9092

sh kafka-topics.sh --describe --zookeeper 127.0.0.1:2181  （旧版命令，新版已不支持）

### 查询一个topic的详情，支持0.9+

sh kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic quickstart-events

bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --list   （旧版命令，新版已不支持）

###  消费者列表查询，支持0.10+

sh kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

sh kafka-consumer-groups.sh --zookeeper localhost:2181 --list   （旧版命令，新版已不支持）

bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --list （0.9版本 - 0.10.1.0 之前）

### 显示某个消费组的消费详情

 sh kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group console-consumer-54581  

bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --describe --group test-consumer-group（0.9版本 - 0.10.1.0 之前）

bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group test   （仅支持offset存储在zookeeper上的）

### --members：此选项提供消费者组中所有活动成员的列表

sh kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group console-consumer-63790 --members 

###  --members --verbose：除了上面“--members”选项报告的信息之外，此选项还提供分配给每个成员的分区。

 sh kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group console-consumer-63790 --members --verbose

5、删除消费者的两种方式

方法一：

kafka 1.10 之后，group存储在名为__consumer_offsets的topic上了，默认会根据你的log.retention.hours（默认7天）进行删除。修改参数让其早点删除，或者等待默认7天后删除

方法二：手动删除

[root@localhost bin]# sh kafka-consumer-groups.sh --bootstrap-server localhost:9092 --delete --group console-consumer-54581
Deletion of requested consumer groups ('console-consumer-54581') was successful.
 

更多参考：kafka命令大全 - OrcHome