如何在Debian上监控Kafka

debian

小樊

2025-02-25 11:58:50

栏目: 智能运维

在Debian上监控Kafka有多种工具可以选择，以下是一些推荐的监控工具及其安装和使用方法：

Kafdrop

功能介绍：

支持根据Topic查看消费者组详细信息
支持查看消费者组消费的所有Topic
支持查看Topic详细配置
支持根据关键词搜索消息
支持根据offset查看消息
支持创建、删除Topic

安装运行命令：

docker run -d --rm -p 9000:9000 \
  -e KAFKA_BROKERCONNECT=<host:port,host:port> \
  -e SERVER_SERVLET_CONTEXTPATH="/" \
  obsidiandynamics/kafdrop

项目地址：kafdrop GitHub

KafkaOffsetMonitor

功能介绍：

支持查看消费者组信息
支持查看Topic组信息
支持查看一定时间内消费者消费状态

启动方式：

java -cp KafkaOffsetMonitor-assembly-0.3.0-SNAPSHOT.jar \
  com.quantifind.kafka.offsetapp.OffsetGetterWeb \
  --offsetStorage kafka \
  --zk zk-server1,zk-server2 \
  --port 8080 \
  --refresh 10.seconds \
  --retain 2.days

监控页面展示：

Topic：Topic的名称
Partition：该Topic包含的分区数量
Offset：Kafka消费者已消费的消息数量
logSize：已写入该分区的消息数量
Lag：未读取的消息数量（Lag=logSize-Offset）
Owner：该分区所在的Broker（包括消费者组名称、主机名和broker.id）
Created：分区创建时间
Last Seen：Offset和logSize最后更新时间

JConsole

功能介绍：

基于JMX的可视化监控管理工具，可以用来监控Kafka的各项指标

使用方式：

确保JDK已安装。
修改kafka-server-start.sh脚本的JMX端口配置：

export JMX_PORT="9999"

在命令行中输入jconsole并回车，启动JConsole。

Kafka Manager

功能介绍：

管理和监控Kafka集群
支持管理多个集群
检查kafka集群状态
选择副本、副本重新分配以及创建Topic等

安装步骤：

下载Kafka Manager的最新版本。
修改Kafka-run-class.sh文件，增加JMX的相关参数。
启动Kafka Manager。

项目地址：Kafka Manager GitHub

这些工具各有特点，可以根据实际需求选择合适的工具进行监控。例如，Kafdrop适合需要实时监控和管理Kafka集群的用户，而KafkaOffsetMonitor则是一个轻量级的解决方案。

亿速云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>

如何在Debian上监控Kafka

Kafdrop

KafkaOffsetMonitor

JConsole

Kafka Manager

最新问答

相关标签