如何将单节点Kafka扩展到多节点集群？

Question

我将安装 Kafka 用于公司消息传递。计划首先将 Kafka 安装在一台大型机器上，然后根据需要将其扩展到 4-5 台机器（一个集群）。

我对卡夫卡的经验很少。我想问是否可以通过更改broker配置中的参数并在新加入的机器上安装Zookeeper来进行扩展。

或者我怎样才能以最简单的方式大致做到这一点？更具体地说，CDH 中的 Cloudera Kafka。

Answer 1

要扩展 Kafka，如果需要，您必须使用 kafka-topics.sh 向主题添加更多分区。然后使用 kafka-reassign-partitions.sh 将分区重新分配给新代理。

重新分配实用程序将自动复制和发送您的数据。您可以对整个主题或一组选定的分区执行此操作。

完整的文档位于此处。请看第 6 节。