对于具有相似数据和工作负载的主题使用两个 Kafka Connect Sink 连接器有什么优势？

Question

我有两个 Kafka 主题（

topic_A

和

topic_B

），具有相同的分区（4 个分区）和相似的数据结构。两个主题都需要相同的处理工作。

目前，我正在考虑使用单个 Kafka Connect Sink 连接器将数据写入 BigQuery，并将

tasks.max

设置为 8。此设置将在 Kubernetes (K8s) 集群中运行，该集群配置为根据主题延迟扩展 pod/workers， Pod CPU 或 Pod 内存使用情况。

对于这种情况，使用两个单独的接收器连接器（每个主题一个）而不是单个连接器有优势吗？如果有，它们是什么？我主要对性能、容错、扩展灵活性和整体管理等因素感兴趣。

Answer 1

如果需要，可以为两个连接器提供不同的配置。分区并不是唯一重要的事情。身份验证、序列化格式、记录大小等也需要类似。

容错也是一个因素，因为任务可以重新平衡，任何失败都可能停止整个任务，因此停止所有正在使用的主题