鸡排小农的博客

问题背景：在CDH上的kafka集群为机器node1，node2，node3，这三台机器挂载的盘只有2到3块，导致大规模数据执行入库时，写入延迟大；现有机器node4-6三台机器挂载的盘有11块，想将kafka集群从node1-3换成node4-6，CDH集群有十台机器，包括node4-6机器，执行的步骤如下：点击添加角色实例后，出现以下界面，在该界面点击选择主机，将node4-6加入。再将node1-3三台机器停止运行，勾选三台机器，点击已选定的操作中的停止。在kafka配置中，将node1

1.kafka简介Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统。在kafka官网下载安装包时，能看到如下格式：kafka_2.12,这个数字代码scala的版本，kafka使用的开发语言是scala。而2.8.0则代表的是kafka的版本。遵循 Major.Minor.Patch 的版本规则，Major表示大版本，通常是一些重大改变，因此彼此之间功能可能会不兼容；Minor表示小版本，通常是一些新功能

auto.offset.reset： 可理解为kafka consumer读取数据的策略，本地用的kafka版本为0.10，因此该参数可填earliest|latest|none。earliest： 当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费latest： 当各分区下有已提交的offset时，从提交的offset开始消费；无提交的of...

kafka常用命令包括创建topic,查看topic列表等。功能命令备注创建topickafka_home/bin/kafka-topics.sh --create -zookeeper node1:2181 --topic test --replication-factor 1 --partitions 1zookeeper地址查看kafka_home/...

kafka manager的安装1、将kafka-manager的安装包kafka-manager-1.3.1.9.tar.gz传到服务器node4 /app目录下2、解压安装包tar zxvf kafka-manager-1.3.1.9.tar.gz3、进入kafka-manager的配置文件目录下，修改保存数据的zookeeper地址cd kafka-manager-1.3.1.9...