为什么Apache的气流计划的DAG手动优先于触发的DAG?

问题描述 投票:0回答:1

我有一个时间表运行的DAG,并且里面的任务,找到一个路径,并处理一个文件,并将该文件移动到存档文件夹中。

与其等待时间表,我手动触发DAG。在手动触发DAG执行它的第一个任务,“发现一个新的文件来处理”,但在开始第二个任务加载文件时,DAG调度之前,自动拾取,并开始处理同一个文件。

当计划DAG开始,就暂停执行手动触发DAG。该计划的DAG建成后,又回到运行从手动触发DAG造成失败的状态,因为DAG从源目录将文件移动到存档,并手动计划DAG开始处理一个文件说,“它认为是任务有”由于从第一任务的成功和信息。

所以:DAG手动触发DAG手动触发任务1中执行DAG计划调用DAG计划任务1执行DAG计划任务2执行DAG计划任务3执行DAG如期完成为成功DAG手动触发任务2失败(因为在检测计划任务2移动文件由于失败的任务2,任务1)DAG手动触发跳过其他任务失败DAG手动触发完整

所以,我的问题是:如何配置空气流,使得同一DAG的调用执行FIFO,无论如果DAG是由调度调用,使用说明书,或触发?

airflow airflow-scheduler
1个回答
0
投票

对于这样的问题:

为什么Apache的气流计划的DAG手动优先于触发的DAG?

我不能说什么。但可能是一个好主意,采取气流代码看看。

至于你要完成的任务是:

与安装文件夹(或类似)的文件时,我可以建议你做的第一件事就是将它们复制到另一个文件夹可以说,“过程文件夹”,以确保这些文件是由“人”碰不得。

在我的项目中,我们用视频组工作,我们生成使用{{ts_nodash}}默认变量触发相关的文件夹。

© www.soinside.com 2019 - 2024. All rights reserved.