跑步前检查气流是否是某一天

问题描述 投票:0回答:1

我对 Airflow 和 python 还很陌生,正在寻求一些帮助。

我有一个运行良好的 Airflow DAG,这些是任务:

T1 = deletes all files from GCS
T2 = Runs SQL query 1 and outputs to a table within BigQuery 
T3 = Runs SQL query 2 and outputs to a table within BigQuery
T4 = Runs SQL query 3 and places a copy of this output as csv into the GCS that was emptied in T1
T5= Copies and Appends the reference numbers from the file in T4 to a history table in BigQuery.

AS提到这一切都运行良好,但我试图添加一个,它首先检查它是否是该月的最后一个星期二,它是它移动到T1>>T2>>T3等,它不是它停止并且不运行任务。

您的帮助将不胜感激。

我尝试过 Bash,但没有成功

python apache google-bigquery airflow directed-acyclic-graphs
1个回答
0
投票

这可以使用传感器来实现。传感器将等待事件发生并继续运行下游任务。对于您的用例,最好的选择可能是创建一个检查条件的python 传感器

© www.soinside.com 2019 - 2024. All rights reserved.