如何重新启动已取消的Cloud Dataflow流式传输作业?

问题描述 投票:2回答:1

我已经为BigQuery数据流创建了一个标准的PubSub。但是,为了确保我不会在离线时运行巨额账单,我取消了数据流。从GCP控制台,似乎没有一个选项可以重新启动它 - 这可能是通过控制台,还是通过shell(如果是这样,如何)?

google-cloud-platform google-cloud-dataflow
1个回答
3
投票

Cloud Dataflow当前不提供重新启动已停止或取消的Dataflow作业的机制。

但是,对于这个Pub / Sub - > BigQuery流程,一种方法是使用Google-provided Pub/Sub to BigQuery template;这些模板使用Cloud Dataflow为常见数据移动模式提供无代码解决方案。

您可以使用唯一的作业名称来execute a streaming Dataflow job using this template, via the REST API,以确保在任何时间点只运行此Dataflow作业的一个实例。如果作业被取消,您可以通过再次运行相同的命令(重新)启动此流数据流作业。

© www.soinside.com 2019 - 2024. All rights reserved.