Sarama Kafka ConsumerGroup 实现

Question

我有很好的使用 kafka 和 python 使用融合 kafka 库的经验。最近我不得不转向 golang 并使用 sarama 库。 我无法理解 ConsumerGroups 在 sarama 中是如何工作的。在 python 中，这相当简单。您只需创建一个定义了组 ID 的消费者对象。定义用于分区重新平衡的 on_assign 回调，然后就可以开始了。但我无法理解萨拉玛的意思。没有太多教程可以帮助您理解流程。

有人可以向我解释一下 sarama 中消费者组的流程吗？实现 ConsumerGroup 的最佳方式是什么，该 ConsumerGroup 中可以有一个或多个消费者来处理消息并将它们保存到目标 s3 位置。任何提示或资源链接将不胜感激

Answer 1

没有太多教程可以帮助您理解流程。

你看哪里了？

https://github.com/IBM/sarama/blob/main/consumer_group_example_test.go

其中有一个或多个消费者处理消息

启动同一代码的多个进程

将它们保存到目标 s3 位置

1. Confluence 也有一个 golang 客户端，其设计与 Python 客户端类似

2. Kafka Connect / Redpanda Connect / Conduit 最好写入 S3，因为它只是配置文件，您不需要编写任何代码。 Confluence 维护 S3 接收器连接器