Kafka - 消息未仅从其中一个分区被消耗

问题描述 投票:0回答:2

我们有一个运行 Kafka 2.13 版本的单节点 Kafka 服务。对于其中一个主题,我们配置了 20 个分区,并且只有一个消费者组从该主题消费。这个设置已经运行良好很长时间了。最近,我们经常看到 Kafka 重新平衡这个消费者组的问题。一段时间后,消费者再次开始消费,但在其中一个分区上,当前偏移量根本没有向前移动,表明消息被卡在该分区中。来自其他分区的其他消息可以毫无问题地使用。来自 Kafka 服务的日志没有显示任何问题。关于出了什么问题以及如何识别/纠正它有任何提示吗?

apache-kafka kafka-consumer-api
2个回答
0
投票

一个可能的解释是特定分区有一条消息需要很长时间才能处理,这可以解释频繁的重新平衡和卡住的偏移量


0
投票

我们现在也有类似的问题。 可能的猜测是,在重新平衡过程中,该服务没有添加到消费者组中,也没有为其分配新事件,因此它只是内存中的一个服务,未经处理。

我们没有找到解决方案

© www.soinside.com 2019 - 2024. All rights reserved.