捕获气流运行持续时间

问题描述 投票:0回答:1

我需要收集特定气流作业过去 3 个月的运行持续时间(时间)。

在我们的CDE环境中,我们使用气流来调用spark DBT作业,最近作业的运行时间急剧增加。 我认为有一种方法可以收集此作业的运行时间以进行进一步分析等。希望在完成他的工作时获得一些帮助/指导。

CDP 公共云/CDE 版本 - 1.19.3-b29

谢谢

通过 CDE UI 捕获详细信息是不可行的,因此想了解其他方法来获取所需信息

airflow cloudera cloudera-cdp
1个回答
0
投票

当您单击左侧的任务名称(行)时,Airflow GUI 中的网格视图中可以使用任务持续时间,如此处的 Airflow 文档所示: https://airflow.apache.org/docs/apache-airflow/stable/ui.html#:~:text=Or%20selecting%20a%20Task%20across%20all%20runs%20by%20click%20on%20the% 20task_id%3A

如果这还不够(即您需要很长一段时间,或者过滤掉一些运行,...),那么您也可以直接转到气流元数据数据库,并查询

task_instance
表 - ERD 模式此处的数据库:https://airflow.apache.org/docs/apache-airflow/stable/database-erd-ref.html

© www.soinside.com 2019 - 2024. All rights reserved.