Kafka Connect“在获取分区时收到未知主题或分区错误...”过度记录

Question

我们的 Kafka Connect 服务器很快就被填满了

connect.log

。日志文件中不断出现的警告是：

WARN [Consumer clientId=consumer-connect-cluster-2, groupId=connect-cluster] Received unknown topic or partition error in fetch for partition connect-statuses-2 (org.apache.kafka.clients.consumer.internals.Fetcher:1340)

什么可能导致此警告以及为什么它被记录为垃圾邮件？每秒记录超过 1000 次，我该如何阻止？删除该消费者组是否安全？

Answer 1

如果您描述

connect-statuses

主题，然后查看分区 2，您将看到可用的副本和领导者。

如果没有可用的副本，也没有可用的领导者，您将看到此警告消息

Answer 2

重启代理暂时解决了这个问题。找不到背后的原因。

Answer 3

警告 - 这可能不是所有人的解决方案，因为“未知主题或分区错误”的可能性有很多。尝试确认以下配置：

• 主题名称拼写正确且主题存在。
• consume()方法可以处理多个主题。因此，如果您已将主题列表指定为单个字符串中的逗号分隔值 - 请确保在传递给消费之前将其转换为列表。这解决了我的问题。