按大小(字节数)或计数的波束窗口

问题描述 投票:0回答:1

我需要一种方法来触发窗口,基于计数达到指定的限制或窗口中的数据达到指定的大小(字节数)。我确实找到了基于Count的数据驱动触发器,但没有基于字节数的触发器,如果​​存在的话,它将有可能使两个触发器组成一个复合触发器。有没有办法做到这一点?

google-cloud-dataflow apache-beam
1个回答
0
投票

没有办法通过触发器来实现。

最好的选择是在ParDo中使用状态,这将使您以持久的方式跟踪所需的内容。状态受Window限制,因此您可以在该键和窗口的状态下缓冲元素,直到达到阈值为止。

有关详细信息,请参见https://beam.apache.org/documentation/programming-guide/#state-and-timers

© www.soinside.com 2019 - 2024. All rights reserved.