使用 k8s 执行器运行时如何将特定的 DAG 加载到 kubernetes pod 中?

问题描述 投票:0回答:0

我的 DAG 存储在 Google Cloud Storage (GCS) 中,当 Airflow 在任务创建期间启动一个 pod 时,我正在使用像这样的初始化容器将所有 DAG 从 GCS 复制到 pod。

  initContainers:
    - name: init-dags
      image: {{ template "airflow_image" . }}
      command: ['sh', '-c', "gsutil cp -r gs://dags-bucket/dags/ /opt/airflow/dags/"]
      volumeMounts:
      - name: dags-folder
        mountPath: /opt/airflow/dags

像这样复制所有 DAG 似乎效率低下且没有必要。我想知道是否有一种方法可以只加载与特定 pod 关联的 DAG,而不是 GCS 存储桶中的所有内容。也许我们可以在 pod-template-file 中引用 DAG 名称?

kubernetes airflow kubernetes-helm airflow-2.x
© www.soinside.com 2019 - 2024. All rights reserved.