温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

KafkaOffsetMonitor如何安装部署

发布时间:2021-11-16 10:23:16 来源:亿速云 阅读:218 作者:小新 栏目:云计算

这篇文章将为大家详细讲解有关KafkaOffsetMonitor如何安装部署,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。

KafkaOffsetMonitor功能:

1.从标题都可以看出来,Kafka Offset Monitor,是对consumer消费情况进行监控,并能列出每            个consumer offset,滞后数据。

2.消费者组列表

3.每个topic的所有parition列表(topic,pid,offset,logSize,lag,owner)

4.查看topic的历史消费信息.

1下载

  在安装KafkaOffsetMonitor管理平台时,我们需要先下载其安装包,其资源可以在Github上找到

2安装部署

  KafkaOffsetMonitor的安装部署较为简单,所有的资源都打包到一个JAR文件中了,因此,直接运行即可,省去了我们去配置。这里我们可以新建一个目录单独用于Kafka的监控目录,我这里新建一个kafka_monitor文件目录,然后我们在准备启动脚本,脚本内容如下所示:

#! /bin/bash

java -cp KafkaOffsetMonitor-assembly-0.2.0.jar \

 com.quantifind.kafka.offsetapp.OffsetGetterWeb \

 --zk ZookeeperAddress \

 --port 8089 \

 --refresh 10.seconds \

 --retain 1.days

  给大家解释以下这条启动命令的含义,首先我们需要指明运行Web监控的类,然后需要用到ZooKeeper,所有要填写ZK集群信息,接着是Web运行端口,页面数据刷新的时间以及保留数据的时间值。

3、启动

  启动步骤如下所示:

  • 步骤1:启动ZK   zkServer.sh start

  • 步骤2:启动Kafka服务(集群依次输入以下命令启动)

           ./kafka-server-start.sh config/server.properties &

  • 步骤3:启动Web监控服务

java -cp KafkaOffsetMonitor-assembly-0.2.0.jar \

 com.quantifind.kafka.offsetapp.OffsetGetterWeb \

 --zk dn1:2181,dn2:2181,dn3:2181 \

 --port 8089 \

 --refresh 10.seconds \

 --retain 1.days

  Web服务启动成功后,如下图所示:

KafkaOffsetMonitor如何安装部署

4.KafkaOffsetMonitor运行预览

  下面,我们来使用Kafka代码生产消费一些消息,使用Web监控来浏览消息情况。这里直接预览演示结果,如下图所示:

KafkaOffsetMonitor如何安装部署

KafkaOffsetMonitor如何安装部署

KafkaOffsetMonitor如何安装部署

KafkaOffsetMonitor如何安装部署

KafkaOffsetMonitor如何安装部署

KafkaOffsetMonitor如何安装部署

KafkaOffsetMonitor如何安装部署

5.总结

  在运行KafkaOffsetMonitor的JAR包时,需要确保启动参数的配置正确,以免启动出错,另外,Github的上的KafkaOffsetMonitor的JAR中的静态资源有些链接用到了Google的超链接,所有如果直接只用,若本地木有代理软件会启动出错,这里使用我所提供的JAR,这个JAR是经过静态资源改版后重新编译的使用本地静态资源。

  另外图中的一些参数的含义如下:

  • Topic:创建Topic名称

  • Partition:分区编号

  • Offset:表示该Parition已经消费了多少Message

  • LogSize:表示该Partition生产了多少Message

  • Lag:表示有多少条Message未被消费

  • Owner:表示消费者

  • Created:表示该Partition创建时间

  • Last Seen:表示消费状态刷新最新时间

关于“KafkaOffsetMonitor如何安装部署”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI