Kafka 保留设置 - 如果所有消费者组都消费了一个主题，则从队列中删除

Question

假设我有一个 kafka 队列和一个名为 TOPIC 的主题，并且我有两个消费者组 CONSUMER1 和 CONSUMER2。我在 TOPIC 中添加了 1000 条数据。

Consumer1 消费了 800 条数据，CONSUMER2 消费了 750 条数据。如果所有消费者组都已消费了数据（即达到了偏移量），是否有一个设置可以将所有已消费的日志删除到特定的偏移量，或者我可以运行保留计划并从主题中删除 750 个数据吗？

Answer 1

可能的保留设置如下，请参阅此处

• 日志保留时间
• log.retention.bytes
• log.retention.ms

您可以使用 kafka-delete-records-sh

从命令行删除最多一个偏移量