Google Cloud Dataflow流媒体管道在大约25天后就会挂起

Question

我们正在运行多个流数据流管道，这些管道总是最终挂起，需要在运行大约25天后重新启动。

• 有没有人看到这个？
• 管道可以运行的某种最大时间吗？
• 是否有任何建议的最佳实践以更频繁的节奏重新启动流媒体作业，即使没有代码更改（即我们应该每2周重新启动一次管道？1周？）？

Answer 1

同样的事情发生在这里。我们在20天前挂了一个数据流作业，它从pubsub获取数据，导致我们的一个客户丢失了数据。

昨天我们重新启动了数据流作业，它已经被卡住了。我们在几个客户项目上运行此作业的多个副本，所有其他副本运行正常，这似乎表明gcp数据流中存在一些错误。

此数据流作业使用Apache Beam SDK for Java 2.6.0在us-east1中运行

这个问题似乎与https://status.cloud.google.com/incident/cloud-dataflow/19001有关

关于如何解决悬挂问题的任何想法？

问候