Flink如何发现每个密钥的所有kafka分区

Question

我在数据流中使用“ keyby”。我希望flink发现每个键的所有kafka分区。我有30个分区和12个任务。我通过用户ID“键入”我的数据。我认为每个任务的flink只是发现特定的kafka分区＆我无法在一项任务中检测到每个用户的所有数据。

Answer 1

Flink通常不会在通过keyBy进行流处理期间完成的分区与在Kafka中的流存储层中存在的分区之间建立任何关联。如果您在来自Kafka使用者的流中使用keyBy，则将一起处理每个用户的所有事件，无论他们来自哪个kafka分区。

我不知道您要做什么，但是您可以阅读有关Flink如何处理Kafka主题和分区发现in the documentation的信息。