这篇文章主要讲解了“kafka-console-consumer.sh使用2次grep管道无法提取消息如何解决”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“kafka-console-consumer.sh使用2次grep管道无法提取消息如何解决”吧！
在使用kafka自带脚本消费时，想用grep关键词过滤出来想要的信息
./kafka-console-consumer.sh \ --bootstrap-server node1:9092,node2:9092,node3:9092 \ --topic test \ --from-beginning \ --consumer-property group.id=gaofeng_test\ | grep "b786aba6f3a6" | grep 388aabd
但是发现grep命令在这里有问题，无法取到想要消息
已经消费到latest了，都没有提取到想要的msg
这里确认了producer端已经发送成功了，回调函数里都没有任何异常
怀疑是否kafka存在丢数据的情况
排查问题后发现kafka集群一切正常，性能也很强劲
并且在存储消息的日志文件中也已经查询到了我想要的消息了，为什么就是消费不出来呢
将kafka的这个主题 --from-beginning 消费到文件topic.log中去
对topic.log这个静态文件进行grep “b786aba6f3a6” | grep 388aabd抽取，发现取到了自己想要的这条消息
kafka消费时结果是动态的，grep这里用法不对，只有对静态的文件可以抽取到数据
--line-buffered
Force output to be line buffered. By default, output is line buffered when standard output is
a terminal and block buffered otherwise
上面的意思是
强制输出结果使用行缓冲
默认情况下，如果标准输入时终端，则使用line bufferred
否则，使用块缓冲，（默认的大小为4096 bytes，因系统和配置而异）
所以，这也就解释了为什么双重grep过滤没有内容，因为没有达到块缓冲限制。
a,b,c
刚刚/kafka-console-consumer.sh第一次grep过滤出来的的消息小于4k了，所以传给第二次grep是不可以直接输出出来的，因为在缓冲区
如果第一次grep出来的数据大于4k，传给第二个grep时则不会缓冲着，第二个grep收到就立刻传入到terminal输出了
反之第一次grep过滤出来的的消息大于还是小于4k，一旦后面没有管道符号，直接输出给terminal的话，则遵循line bufferred规则立马输出
使用如下命令即可
./kafka-console-consumer.sh \ --bootstrap-server node1:9092,node2:9092,node3:9092 \ --topic test \ --from-beginning \ --consumer-property group.id=gaofeng_test\ | grep --line-buffered "b786aba6f3a6" | grep 388aabd
【注意】
这里用了grep 的 --line-buffered参数
感谢各位的阅读，以上就是“kafka-console-consumer.sh使用2次grep管道无法提取消息如何解决”的内容了，经过本文的学习后，相信大家对kafka-console-consumer.sh使用2次grep管道无法提取消息如何解决这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是亿速云，小编将为大家推送更多相关知识点的文章，欢迎关注！
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
