本篇文章为大家展示了Kafka的消息记录留存策略及配置是怎样的，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。
log.retention.check.interval.ms
log.retention.hours
log.segment.bytes
log.roll.hours
kafka的消息存放在segment文件中
kafka处理过期数据的操作对象是segment，处理方式为压缩或删除，或压缩与删除联合
写入数据
1.1 当前partition收到producer第一条要记录的消息, 如果没有segment，则kafka会新建segment
1.2 检查要写入的segment最后一条插入数据的时间戳: 如果大小大于log.segment.bytes配置的大小，则不再写入，并创建新的segment，并将写入游标指向新建的segment
1.3 检查要写入的segment文件的大小: 如果segment的创建时间距当前时间大于log.roll.hours配置的时间，则不再写入，并创建新的segment，并将写入游标指向新建的segment
1.4 写入数据到segment文件
定时检查并处理过期segment文件
2.1 kafka根据log.retention.check.interval.ms配置项发起定时任务: 定时检查所有的segment
2.2 检查segment是否符合执行过期处理的条件，如果segment最近时间戳距现在时间大于log.retention.hours配置时间，则会删除该segment文件
上述内容就是Kafka的消息记录留存策略及配置是怎样的，你们学到知识或技能了吗？如果还想学到更多技能或者丰富自己的知识储备，欢迎关注亿速云行业资讯频道。
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
