我的 DAG 存储在 Google Cloud Storage (GCS) 中,当 Airflow 在任务创建期间启动一个 pod 时,我正在使用像这样的初始化容器将所有 DAG 从 GCS 复制到 pod。
initContainers:
- name: init-dags
image: {{ template "airflow_image" . }}
command: ['sh', '-c', "gsutil cp -r gs://dags-bucket/dags/ /opt/airflow/dags/"]
volumeMounts:
- name: dags-folder
mountPath: /opt/airflow/dags
像这样复制所有 DAG 似乎效率低下且没有必要。我想知道是否有一种方法可以只加载与特定 pod 关联的 DAG,而不是 GCS 存储桶中的所有内容。也许我们可以在 pod-template-file 中引用 DAG 名称?