Kafka 使用 commit.interval.ms 自定义抑制行为

问题描述 投票:0回答:0

在Kafka streams中,如果我们有多个partition,想要根据一个key聚合消息,只为key产生聚合的最终结果。我们必须使用自定义抑制器,使用基于每个键的 10 秒窗口持续时间标点和转发键的转换,因为我们没有键的连续消息流。

但是,我们注意到结果提前推送,而不是等到决赛。可能的原因是什么

  1. 是不是基于commit.interval.ms的值设置为1秒,可以比punctuate schedule更早的推送结果?

  2. 我们是否需要使用全局存储来推送基于键的聚合记录,因为我们在 2 个应用程序实例之间总共有 10 个分区和 10 个消费者线程

apache-kafka aggregate apache-kafka-streams
© www.soinside.com 2019 - 2024. All rights reserved.