我已经为BigQuery数据流创建了一个标准的PubSub。但是,为了确保我不会在离线时运行巨额账单,我取消了数据流。从GCP控制台,似乎没有一个选项可以重新启动它 - 这可能是通过控制台,还是通过shell(如果是这样,如何)?
Cloud Dataflow当前不提供重新启动已停止或取消的Dataflow作业的机制。
但是,对于这个Pub / Sub - > BigQuery流程,一种方法是使用Google-provided Pub/Sub to BigQuery template;这些模板使用Cloud Dataflow为常见数据移动模式提供无代码解决方案。
您可以使用唯一的作业名称来execute a streaming Dataflow job using this template, via the REST API,以确保在任何时间点只运行此Dataflow作业的一个实例。如果作业被取消,您可以通过再次运行相同的命令(重新)启动此流数据流作业。