kafka在ubuntu上的日志清理策略

ubuntu

小樊

2025-02-18 13:23:47

栏目: 智能运维

在Ubuntu上，Kafka的日志清理策略主要通过配置文件server.properties进行设置。Kafka提供了两种主要的日志清理策略：删除策略（delete）和压缩策略（compact），具体介绍如下：

基于时间：当日志段超过指定的保留时间后，Kafka会删除这些日志段。
基于大小：当日志段的总大小超过指定的阈值后，Kafka会删除最早的日志段，直到总大小低于阈值。
配置参数：
- log.retention.hours：定义消息在日志中保留的时间（以小时为单位），默认值为168小时（7天）。
- log.retention.minutes：以分钟为单位的保留时间。
- log.retention.ms：以毫秒为单位的保留时间。
- log.retention.bytes：定义每个日志分区允许使用的最大存储空间，当达到此限制时，最早的消息将被删除。
- log.retention.check.interval.ms：日志片段文件检查的周期时间，默认值为300000毫秒（5分钟）。

适用于更新频繁的场景，例如数据库变更日志。压缩策略会保留每个键的最新消息版本，删除旧版本的消息。
配置参数：
- log.cleanup.policy：设置为compact启用压缩策略。
- log.cleaner.enable：设置为true启用清理线程。

需要注意的是，时间和大小限制是互斥的，Kafka将依据首先满足的条件来清理日志。

最新问答