温馨提示×

kafka命令行消费怎样查看

小樊
81
2024-12-18 18:43:29
栏目: 大数据

要查看Kafka命令行消费者(Consumer)的消费情况,你可以使用以下命令:

  1. 查看消费者组中的消费者实例:
kafka-consumer-groups.sh --bootstrap-server <kafka_broker_address> --describe --group <consumer_group_id>

这将显示消费者组中的所有消费者实例及其当前的消费状态。

  1. 查看消费者的消费偏移量:
kafka-consumer-groups.sh --bootstrap-server <kafka_broker_address> --describe --group <consumer_group_id>

在输出中,你可以查看每个分区的消费偏移量(offset)。

  1. 查看消费者的消费记录:

要查看消费者的消费记录,你需要使用Kafka消费者的Java客户端库或其他支持Kafka的客户端库。以下是一个使用Java客户端库的示例:

首先,确保你已经添加了Kafka客户端库依赖到你的项目中。然后,你可以使用以下代码来消费并打印消息:

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.serialization.StringDeserializer;

import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class KafkaConsumerExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "<kafka_broker_address>");
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "<consumer_group_id>");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
        props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "true");
        props.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "1000");

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Collections.singletonList("<topic_name>"));

        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
            }
        }
    }
}

<kafka_broker_address><consumer_group_id><topic_name>替换为实际的值。运行此代码后,你将看到消费者的消费记录。

0