我对 Airflow 和 python 还很陌生,正在寻求一些帮助。
我有一个运行良好的 Airflow DAG,这些是任务:
T1 = deletes all files from GCS
T2 = Runs SQL query 1 and outputs to a table within BigQuery
T3 = Runs SQL query 2 and outputs to a table within BigQuery
T4 = Runs SQL query 3 and places a copy of this output as csv into the GCS that was emptied in T1
T5= Copies and Appends the reference numbers from the file in T4 to a history table in BigQuery.
AS提到这一切都运行良好,但我试图添加一个,它首先检查它是否是该月的最后一个星期二,它是它移动到T1>>T2>>T3等,它不是它停止并且不运行任务。
您的帮助将不胜感激。
我尝试过 Bash,但没有成功
这可以使用传感器来实现。传感器将等待事件发生并继续运行下游任务。对于您的用例,最好的选择可能是创建一个检查条件的python 传感器。