如何在Airflow中组合多个DAG

Question

我真的需要知道如何使用 Airflow 让多个 DAG 相互调用（例如

DAG_1 >> DAG_2

），类似于它如何使用上游/下游运算符在 DAG 中运行任务。 我需要知道如何进行设置，以便 Airflow 运行

DAG_1

，然后在

DAG_2

成功完成后运行

DAG_1

。

我希望将

DAG_1

和

DAG_2

放在 Airflow dag 文件夹中的单独文件中，然后让

DAG_2

调用

DAG_1

作为运行开始时的预处理步骤，或者使用单独的“主”DAG，它创建并运行一个 DAG，其中每个任务都是另一个 DAG 而不是任务操作员。

如果有人知道如何做到这一点，请告诉我，我真的需要一些帮助。 如果有人知道如何做到这一点，我也将接受在同一个文件中制作和连接两个单独的 DAG，但最好链接的 DAG 位于不同的文件中。

预先感谢您的协助。

Answer 1

您可以使用 TriggerDagRunOperator 它将 DAG id 作为参数并触发它

参见官方示例这里

Answer 2

从 Airflow 2.4 开始，Airflow 数据集也可用于此目的。 https://www.astronomer.io/docs/learn/airflow-datasets