我需要一种方法来触发窗口,基于计数达到指定的限制或窗口中的数据达到指定的大小(字节数)。我确实找到了基于Count的数据驱动触发器,但没有基于字节数的触发器,如果存在的话,它将有可能使两个触发器组成一个复合触发器。有没有办法做到这一点?
没有办法通过触发器来实现。
最好的选择是在ParDo中使用状态,这将使您以持久的方式跟踪所需的内容。状态受Window限制,因此您可以在该键和窗口的状态下缓冲元素,直到达到阈值为止。
有关详细信息,请参见https://beam.apache.org/documentation/programming-guide/#state-and-timers。