kafka Broker 启动后立即关闭

Question

我们正在运行一个由 6 个代理组成的 kafka 集群。其中 5 个代理似乎完全没问题，但当我们打开第 6 个代理时，它会导致延迟，我们在日志中看到以下内容。任何有关可能导致此问题的原因的帮助将不胜感激。我们正在运行 kafka 版本 3.5.1，scala 版本为 2.12，zookeeper 版本为 3.8.2

[2024-08-20 08:20:07,242] INFO [ReplicaFetcherManager on broker 4] Removed fetcher for partitions Set(jeno-0, jeno_jeno-http-0) (kafka.server.ReplicaFetcherManager)
[2024-08-20 08:20:07,255] INFO [ReplicaFetcherThread-0-1]: Shutting down (kafka.server.ReplicaFetcherThread)
[2024-08-20 08:20:07,256] INFO [ReplicaFetcherThread-0-1]: Stopped (kafka.server.ReplicaFetcherThread)
[2024-08-20 08:20:07,256] INFO [ReplicaFetcherThread-0-1]: Shutdown completed (kafka.server.ReplicaFetcherThread)

我们尝试重新启动所有zookeeper节点和kafka节点。然后开始动物园管理员。然后一一启动kafka节点，结果还是一样。正在阅读可能 kafka 日志目录已充满空间，但这不是这里的问题，因为我们安装了 /var/kafka 目录，此时容量仅为 1%。

这里还有该主题的详细信息：

Topic: jeno
TopicId: zUBXkX0AQgijNqN0L-KuWg 
PartitionCount: 2   
ReplicationFactor: 3    
Configs: segment.bytes=1073741824,max.message.bytes=10485880
Topic: jeno Partition: 0    Leader: 4   Replicas: 4,1,2 Isr: 1,2,4
Topic: jeno Partition: 1    Leader: 1   Replicas: 1,2,3 Isr: 1,2,3

Answer 1

在日志中，我们发现代理 ID 存在一些问题。我们可以通过从集群中卸载zookeeper和kafka并重新安装来解决。