EFAK-v3.0.1版部署与使用

一、前言

  EFAK((Eagle For Apache Kafka,以前称为Kafka Eagle)用于在使用 Topic 的情况下监控 Kafka 集群。包含Offset 的产生、Lag的变化、Partition的分布、Owner、Topic的创建以及修改的时间等信息。

二、环境&安装包

三、部署&配置

Kafka、 Zookeeper部署这里就不多做教学了

1.kafka配置

kafka需要注意的配置:打开JMX PORT(编辑启动脚本添加该参数)

vim bin/kafka-server-start.sh
...
export JMX_PORT="9988" #端口随意
...

2.zookeeper配置

zookeeper需要注意的配置:打开zkcli权限(zookeeper版本>=3.5)

vim bin/zkServer.sh 
...
# zookeeper enable client commands
ZOOMAIN="-Dzookeeper.4lw.commands.whitelist=* ${ZOOMAIN}"
...

具体修改如图:
在这里插入图片描述

在启动参数里加一项就可,不是替换全部参数!!!
启动顺序:Zookeeper -> Kafka

3.EFAK部署

tar -xvf kafka-eagle-bin-3.0.1.tar.gz
cd kafka-eagle-bin-3.0.1/
tar -xvf efak-web-3.0.1-bin.tar.gz
cd efak-web-3.0.1
vim conf/system-config.properties
...
efak.zk.cluster.alias=cluster1
cluster1.zk.list=192.168.200.39:2181
...
efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://xx.xx.xx.xx:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
efak.username=root
efak.password=xxxx

xxx替换成自己服务器具体信息
注意:数据库不需要创建,连接信息写对、权限给足 服务会自己创建ke数据库和table

3.1配置EFAK环境变量
vim /etc/profile
...
# EFAK变量
export KE_HOME=/srv/program/kafka-eagle-bin-3.0.1/efak-web-3.0.1
export PATH=$PATH:$KE_HOME/bin
# JAVA变量(必须配置,提前安装好环境)
export JAVA_HOME=/srv/program/jdk1.8.0_181
...
:wq
# 启动EFAK(已经启动Zookeeper和Kafka)
./bin/ke.sh start

四、使用&展示

官方使用手册:【EFAK-document

1.仪表板

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.kafka节点信息

在这里插入图片描述

3.zookeeper节点信息

在这里插入图片描述

4.监控指标

在这里插入图片描述
在这里插入图片描述

5.Kafka元数据

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

6.KSQL使用

在这里插入图片描述
在这里插入图片描述

7.平衡

在这里插入图片描述

8.报警

在这里插入图片描述

五、结束语

  到此EFAK监控服务就部署完毕啦,如果有其它问题欢迎大家评论留言,如果觉得还可以,那么给作者点赞、收藏、关注吧!

<think>好的,用户想要了解如何部署Kafka Eagle。首先,我需要回忆一下Kafka Eagle的基本信息。它应该是一个用于监控和管理Kafka集群的工具,可能提供Web界面,方便用户查看Topic、消费者组等信息。接下来,我得想想部署的基本步骤。通常这类工具需要依赖环境,比如Java,然后可能需要下载安装包,配置相关文件,最后启动服务。 首先,用户可能需要安装Java环境,因为大多数这类工具是基于Java的。所以第一步应该是检查Java是否安装,本是否符合要求。比如Kafka Eagle可能需要Java 8或更高本。如果用户没有安装,需要指导他们安装JDK。 然后,下载Kafka Eagle的安装包。用户需要去官网或者GitHub找到最新的本,可能需要确认下载地址是否正确,避免提供过时的链接。这里可能需要提到具体的下载命令,比如使用wget或者curl下载压缩包。 接下来是解压安装包,放到合适的目录,比如/usr/local或者用户的某个自定义路径。解压后,可能需要配置环境变量,方便后续使用命令。这时候需要编辑.bashrc或者.profile文件,添加路径。 然后是关键的配置部分。Kafka Eagle的配置文件可能是在conf目录下的某个文件,比如system-config.properties。需要配置数据库连接,因为Kafka Eagle使用数据库存储元数据,比如MySQL。用户需要安装MySQL,并创建数据库,然后配置JDBC连接信息,包括URL、用户名和密码。如果用户不熟悉MySQL,可能需要简要说明如何安装和创建数据库。 此外,还需要配置Kafka集群的信息,指定Zookeeper的地址或者Kafka的Broker地址,根据不同的本可能有不同的配置方式。比如旧本可能用Zookeeper,新本用Bootstrap Servers。用户需要根据自己集群的情况填写正确的地址和端口。 配置完成后,可能需要设置执行权限,运行启动脚本。通常安装包里有启动脚本,比如ke.sh start,用户需要执行这个脚本启动服务。然后检查日志,确认是否启动成功,有没有报错,比如数据库连接失败或者集群连接问题。 最后,通过浏览器访问Web界面,默认端口可能是8048,用户需要知道如何访问,可能需要开放防火墙或者安全组的端口。如果遇到问题,可能需要检查端口是否被占用,或者配置文件中的端口设置是否正确。 还需要考虑一些高级配置,比如修改Web端口,开启SSL,或者配置报警功能。这些可能需要用户根据需求进一步调整。另外,升级和维护的注意事项,比如备份数据库,停止服务再升级,避免数据丢失。 可能用户在实际操作中会遇到问题,比如启动失败,这时候需要查看日志,常见的问题可能是数据库连接错误、配置文件格式错误、或者依赖缺失。需要提醒用户仔细检查配置文件的语法,比如有没有多余的空格,特殊字符是否需要转义,以及数据库服务是否正常运行。 总结一下,步骤大致是:准备环境(Java、MySQL)、下载解压安装包、配置数据库和集群信息、启动服务、访问Web界面。同时,要提醒用户注意本兼容性,确保Kafka EagleKafka集群的本匹配,避免出现兼容性问题。</think>部署Kafka Eagle(现更名为EFAK,Eagle For Apache Kafka)需要以下步骤: --- ### **一、环境准备** 1. **Java环境** 确保已安装JDK 1.8+,并配置`JAVA_HOME`: ```bash $ java -version # 检查本 $ export JAVA_HOME=/path/to/jdk ``` 2. **数据库支持** Kafka Eagle依赖数据库存储元数据,支持: - MySQL (推荐) - SQLite (仅测试环境) ```sql -- MySQL示例:创建数据库和用户 CREATE DATABASE eagle; CREATE USER &#39;eagle_user&#39;@&#39;%&#39; IDENTIFIED BY &#39;your_password&#39;; GRANT ALL PRIVILEGES ON eagle.* TO &#39;eagle_user&#39;@&#39;%&#39;; ``` --- ### **二、下载安装** 1. **下载安装包** 从[官网](https://www.kafka-eagle.org/)或GitHub下载最新本: ```bash $ wget https://github.com/smartloli/kafka-eagle-bin/archive/v3.0.1.tar.gz $ tar -zxvf kafka-eagle-bin-3.0.1.tar.gz -C /opt ``` 2. **配置环境变量** 编辑`~/.bashrc`: ```bash export KE_HOME=/opt/kafka-eagle-bin-3.0.1 export PATH=$PATH:$KE_HOME/bin ``` --- ### **三、配置文件修改** 编辑`$KE_HOME/conf/system-config.properties`: ```properties # 数据库配置 efak.driver=com.mysql.cj.jdbc.Driver efak.url=jdbc:mysql://localhost:3306/eagle?useUnicode=true&characterEncoding=UTF-8 efak.username=eagle_user efak.password=your_password # Kafka集群配置 efak.cluster.alias=cluster1 cluster1.zk.list=zk1:2181,zk2:2181,zk3:2181/kafka # Zookeeper地址 # 或使用Bootstrap Servers(Kafka 2.8+) # cluster1.bootstrap.servers=broker1:9092,broker2:9092 # Web访问端口 efak.webui.port=8048 ``` --- ### **四、启动验证** 1. **赋予执行权限** ```bash $ chmod +x $KE_HOME/bin/ke.sh ``` 2. **启动服务** ```bash $ ke.sh start ``` 3. **检查状态** ```bash $ ke.sh status # 查看进程是否运行 $ tail -f $KE_HOME/logs/catalina.out # 查看日志 ``` 4. **访问Web界面** 浏览器打开`http://<服务器IP>:8048`,默认账号密码:`admin/123456` --- ### **五、高级配置** 1. **修改Web端口** 修改`efak.webui.port`后重启服务。 2. **HTTPS支持** 配置SSL证书路径: ```properties efak.webui.ssl.enable=true efak.webui.ssl.keystore.file=/path/to/keystore.jks efak.webui.ssl.keystore.password=your_keystore_pass ``` 3. **报警配置** 集成邮件或钉钉报警: ```properties efak.alert.email.enable=true efak.alert.email.username=sender@example.com efak.alert.email.password=email_password ``` --- ### **六、注意事项** 1. **本兼容性** 确保Kafka EagleKafka集群兼容(查看官方文档)。 2. **防火墙开放端口** 开放Web端口(默认8048)和JMX端口(如需监控Broker)。 3. **定期维护** - 清理数据库历史数据 - 升级前备份数据库 通过以上步骤即可完成Kafka Eagle的部署和管理监控功能。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

cs阿坤dn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值