从自定义偏移量恢复 Kafka Stream

Question

我正在尝试找到某种方法来从手动偏移恢复 Kafka Streams。 在互联网上查找我没有找到任何说可以的答案。

有什么办法吗？或者必须回到低级消费者 API :\

Answer 1

为了让您的 kafka 流应用程序从特定偏移量恢复，您应该重置其消费组的偏移量。您的应用程序的消费者组与

application.id

配置同名。

首先，确保您的消费者没有活跃会员以进行安全的偏移重置：

kafka-consumer-groups.sh --bootstrap-server <your bootstrap server> --group <your consumer group> --describe

然后要重置偏移量，可以使用以下命令：

kafka-consumer-groups.sh --bootstrap-server <your bootstrap server> --group <your consumer group> --reset-offsets --to-offset <a specific offset> --topic <topic in question> --execute

请记住，偏移量仅在单个消费者组的单个分区内相对于彼此才有意义，因此此命令将重置主题的所有分区的偏移量。