温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

kafka如何查询topic列表和topic下的消息

发布时间:2021-12-08 15:47:02 来源:亿速云 阅读:8532 作者:小新 栏目:大数据

这篇文章主要介绍kafka如何查询topic列表和topic下的消息 ,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!

使用Kafka经常碰到需要查看topic是否创建,或是查看topic下的数据。

最开始想直接找可视化工具进行查看就找到了Kafka tool 然后发现链接数据较少的环境确实比较好用,但是如果topic或topic下的数据较多就会直接卡死,导致无法打开。

Kafka tool 的简单使用

首先去官网下载 Kafka tool :https://www.kafkatool.com/

无脑下一步进行安装。安装完成后进行新建链接操作

kafka如何查询topic列表和topic下的消息

因为数据在Kafka都是byte所以要配置byte转string才能更方便的查看

在 tools --> settings --> Topics

kafka如何查询topic列表和topic下的消息

然后选中想要查看的topic在properties中配置key和message为string

kafka如何查询topic列表和topic下的消息

然后进入topic下的分区进行查看,点击绿色查询按钮即可查看

kafka如何查询topic列表和topic下的消息

如果数据量较少可以使用这个工具进行查看,但是数据太多回直接卡死

使用Kafka命令脚本查看

由于我们公司Kafka是部署在docker中所以需要先进入Kafka容器,然后进入opt/kafka/bin/目录下,Kafka脚本命令都在这个目录下

查看kafka topic列表

kafka-topics.sh -list --zookeeper zookeeper地址:端口

从头开始查看kafka topic下的数据

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_name --from-beginning

按照偏移量查看topic下数据

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_name --offset latest --partition 0

# --offset设置偏移量 latest代表最后 ,可以设置区间,不设置结尾的话默认为查询到latest(最后)
# --partition 设置分区 使用偏移量查询时一定要设置分区才能查询

清除Kafka topic下所有消息

kafka-topics.sh --zookeeper zookeeper地址:端口 --delete --topic topic_name

以上是“kafka如何查询topic列表和topic下的消息 ”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注亿速云行业资讯频道!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI