springboot 整合 kafka 如何实现消息压缩

在 Spring Boot 中整合 Kafka 并实现消息压缩，你需要遵循以下步骤：

1. 添加依赖

在你的 pom.xml 文件中添加 Kafka 和压缩库的依赖。这里以 Gzip 压缩为例：

<dependencies>
    <!-- Spring Boot Kafka Starter -->
    <dependency>
        <groupId>org.springframework.kafka</groupId>
        <artifactId>spring-kafka</artifactId>
    </dependency>
    <!-- Gzip Compression -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
</dependencies>

2. 配置 Kafka 生产者

在你的 application.yml 或 application.properties 文件中配置 Kafka 生产者，并启用压缩功能。这里以 Gzip 压缩为例：

spring:
  kafka:
    bootstrap-servers: localhost:9092
    producer:
      compression-type: gzip
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer

在这个配置中，我们设置了 compression-type 为 gzip，这将启用 Gzip 压缩。同时，我们还需要设置键（key）和值（value）的序列化器。

3. 创建 Kafka 生产者

创建一个配置类，用于创建 Kafka 生产者实例。在这个类中，你需要注入 KafkaTemplate 和 ProducerFactory。

@Configuration
public class KafkaProducerConfig {

    @Autowired
    private KafkaTemplate<String, String> kafkaTemplate;

    @Bean
    public ProducerFactory<String, String> producerFactory() {
        Map<String, Object> configProps = new HashMap<>();
        configProps.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        configProps.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
        configProps.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
        configProps.put(ProducerConfig.COMPRESSION_TYPE_CONFIG, "gzip");
        return new DefaultKafkaProducerFactory<>(configProps);
    }

    @Bean
    public KafkaTemplate<String, String> kafkaTemplate() {
        return new KafkaTemplate<>(producerFactory());
    }
}

4. 发送压缩消息

现在你可以使用 KafkaTemplate 发送压缩消息了。以下是一个简单的示例：

@Service
public class KafkaMessageSender {

    @Autowired
    private KafkaTemplate<String, String> kafkaTemplate;

    public void sendMessage(String topic, String message) {
        kafkaTemplate.send(topic, message);
    }
}

当你使用 KafkaMessageSender 发送消息时，消息将自动使用 Gzip 压缩。接收方在消费消息时，Kafka 会自动解压缩。