kafka consumerrecord能进行过滤吗

是的，Kafka ConsumerRecord 可以进行过滤。在 Kafka 消费者应用程序中，您可以使用 ConsumerRecords 的 filter() 方法来过滤接收到的记录。filter() 方法接受一个 Predicate 函数作为参数，该函数用于确定哪些记录应该被保留或丢弃。

以下是一个简单的示例，展示了如何使用 filter() 方法过滤 Kafka ConsumerRecord：

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

import java.time.Duration;
import java.util.Arrays;
import java.util.Properties;

public class FilteredKafkaConsumer {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("group.id", "test");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Arrays.asList("test-topic"));

        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
            for (ConsumerRecord<String, String> record : records) {
                if (record.value().contains("filtered")) {
                    continue;
                }
                System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
            }
        }
    }
}

在这个示例中，我们创建了一个 Kafka 消费者，订阅了名为 “test-topic” 的主题。然后，我们使用一个无限循环来轮询新记录。对于每个接收到的记录，我们检查其值是否包含字符串 “filtered”。如果包含，我们使用 continue 语句跳过该记录；否则，我们打印记录的偏移量、键和值。这样，只有不包含 “filtered” 字符串的记录才会被处理。