使用 debezium 时 kafka 中出现重复消息

Question

我阅读了 debezium 的内部结构，但如果在更新 bin 日志中的偏移量之前连接器出现一些故障，它也可以向 kafka 发送重复的消息。在这种情况下，消费者需要是幂等的。有什么方法可以避免 kafka 中重复消息吗？

Answer 1

目前，Debezium 的目标是至少交付一次。这实际上意味着，在消费者方面，我们可能会“可能”获得重复项。因此，消费者系统（在作者的例子中是 Kafka Broker）只需要意识到这一点。