启动数据流弹性模板时遇到问题

Question

我在启动数据流 Flex 模板时遇到以下问题。

Error occurred in the launcher container: Template launch failed. See console logs

2020 年 12 月 13 日凌晨 2:16:51 之前一切都很好。

但是在 2020 年 12 月 13 日凌晨 2:16:51 之后，所有作业都会失败。

我不知道出了什么问题。我什么都没更新。

有人遇到同样的问题吗？有人可以帮我解决这个问题吗？

完整日志消息：

{
 insertId: "6dx1bnbsu"  
 labels: {
  dataflow.googleapis.com/job_id: "2020-12-15_21_10_01-10766180733224199975"   
  dataflow.googleapis.com/job_name: "tracking-data-pipeline"   
  dataflow.googleapis.com/region: "us-central1"   
 }
 logName: "projects/project_id/logs/dataflow.googleapis.com%2Fjob-message"  
 receiveTimestamp: "2020-12-16T05:22:01.470463269Z"  
 resource: {
  labels: {
   job_id: "2020-12-15_21_10_01-10766180733224199975"    
   job_name: "tracking-data-pipeline"    
   project_id: "project_id"    
   region: "us-central1"    
   step_id: ""    
  }
  type: "dataflow_step"   
 }
 severity: "ERROR"  
 textPayload: "Error occurred in the launcher container: Template launch failed. See console logs."  
 timestamp: "2020-12-16T05:22:00.427865178Z"  
}

Answer 1

您应该下载控制台日志并查看出了什么问题。

具体操作方法如下。在 Dataflow 的作业日志中，查找如下所示的行：

2021-11-17T20:41:41.068024028Z Console log from launcher will be available at gs://dataflow-staging-us-central1-834770913771/staging/template_launches/2021-11-17_12_41_40-12088305213911934928/console_logs.

然后使用

gsutil

下载该文件：

gsutil cp gs://…etc…/console_logs .

现在看看

console_logs

的内容，你应该能够找出哪里出了问题。

Answer 2

我也遇到了同样的问题。将 apache-beam[gcp]==2.25.0 添加到 requests.txt 文件为我解决了这个问题。

Answer 3

我通过在 docker 容器中安装 git 解决了这个问题。在构建 docker 镜像时，它试图从 git 存储库中提取一些代码，但 docker 中没有安装 git，这就是它抛出错误的原因。安装git后工作正常。

它可能会因不同的原因引发错误。只需查看日志即可找出原因。

Answer 4

Gunar Gessner，非常感谢你，你帮助了我

gsutil cp gs://…等…/console_logs .