kafka 经纪商领导者倾斜

Question

我有10个节点的kafka集群。kafka代理和zookeeper都在每个节点上运行。最近我们添加了 3 个新节点 8、9 和 10，昨天有 2 个节点关闭（2 和 4）。我有一个有 60 个分区和 3 个复制的主题。在kafka管理器中，

Brokers Skewed %

显示为50，

Brokers Leader Skewed %

显示为70。我已从UI手动重新分配分区，

Brokers Skewed %

现在为0，但它没有改变

Brokers Leader Skewed %

。我还运行了命令：

$ kafka-preferred-replica-election.sh  --zookeeper localhost:2181 --path-to-json-file test.json

Warning: --zookeeper is deprecated and will be removed in a future version of Kafka.
Use --bootstrap-server instead to specify a broker to connect to.
Created preferred replica election path with ...
Successfully started preferred replica election for partitions Set(..

但这并没有改变任何事情。我可以在 UI 上看到经纪人 8 和 10 没有领导者。如何在所有经纪商中均匀地重新平衡领导者？我读到所有代理的集群滚动重启可以解决这个问题，但我无法（在正常情况下）重启我的生产 Kafka 集群。

kafka version: 2.3.0
zookeeper version: 3.4.12

添加了kafka管理器屏幕截图并用红色圆圈突出显示了该问题。

我将不胜感激任何帮助。

Answer 1

我能够解决这个问题。如果您仔细查看屏幕截图，您会注意到没有任何首选副本（

Replicas

列的第一个条目）分配给代理 8 或 10，并且只有分区 37 将代理 9 作为首选副本，因此

Preferred Replica Election

将不起作用.

我使用

Manual Partition Assignments

（将代理 8,9 和 10 移动到 17 个分区 (6*3 -2) 中的副本 0）选项对首选副本进行了洗牌，然后运行

Reassign Partitions

，然后运行

Preferred Replica Election

。

希望对其他人有帮助。

注意： 最近添加了 8,9 和 10 节点。