我有从 pubsub 读取消息的数据流作业,但是,它以错误的顺序处理元素,我使用窗口来获取最近的元素,但有时消息不会在窗口中提取。
有一件事对我来说可以工作的是按照到达顺序处理消息,但是从这篇文章中我读到了:
Cloud Pub/Sub 中的订购交付目前不适用于 Cloud Dataflow...
这篇文章写于 2020 年,在官方文档中我没有看到使用 pubsub 有序交付的限制
因此,有人知道数据流是否支持它吗?
Pub/Sub 的有序交付与 Dataflow 不兼容,不。如果您使用启用了有序交付的订阅启动 Dataflow 管道,您应该在日志中看到一条警告,指示虽然管道将运行,但顺序可能不会保留。