清理通过 Flex 模板运行的 GCP 数据流的临时存储桶

Question

我正在通过 Flex 模板创建 GCP 数据流作业，使用 Cloud Build 生成模板等。

这会导致每次都会创建全新的存储桶。例如我有一个

dataflow-staging-us-central1-bcc13063024968bf8d7e6420b45af926

其中有很多目录

我至少还有 3-4 个类似的目录。

清洁这些水桶的最佳做法是什么？

我有一个云构建触发器，每次提交到我的存储库时都会激活该触发器。此触发器将尝试为我拥有的所有 GCP 作业构建 Flex 模板。

也许我所做的不是最佳实践？

Answer 1

使用

gcloud dataflow flex-template build

构建模板时，可以选择传递

--staging-location

标志来指定用于保存暂存文件的存储桶。

即

gcloud dataflow flex-template build gs://template-file-gcs-path \
  --image=gcr://image-path \
  --metadata-file=/local/path/to/metadata.json \
  --sdk-language=JAVA \
  --staging-location=gs://staging-bucket

这将防止在每次运行时创建随机生成的 GCS 存储桶。

更多信息请参见：https://cloud.google.com/sdk/gcloud/reference/dataflow/flex-template/build