我有一个时间表运行的DAG,并且里面的任务,找到一个路径,并处理一个文件,并将该文件移动到存档文件夹中。
与其等待时间表,我手动触发DAG。在手动触发DAG执行它的第一个任务,“发现一个新的文件来处理”,但在开始第二个任务加载文件时,DAG调度之前,自动拾取,并开始处理同一个文件。
当计划DAG开始,就暂停执行手动触发DAG。该计划的DAG建成后,又回到运行从手动触发DAG造成失败的状态,因为DAG从源目录将文件移动到存档,并手动计划DAG开始处理一个文件说,“它认为是任务有”由于从第一任务的成功和信息。
所以:DAG手动触发DAG手动触发任务1中执行DAG计划调用DAG计划任务1执行DAG计划任务2执行DAG计划任务3执行DAG如期完成为成功DAG手动触发任务2失败(因为在检测计划任务2移动文件由于失败的任务2,任务1)DAG手动触发跳过其他任务失败DAG手动触发完整
所以,我的问题是:如何配置空气流,使得同一DAG的调用执行FIFO,无论如果DAG是由调度调用,使用说明书,或触发?
对于这样的问题:
为什么Apache的气流计划的DAG手动优先于触发的DAG?
我不能说什么。但可能是一个好主意,采取气流代码看看。
至于你要完成的任务是:
与安装文件夹(或类似)的文件时,我可以建议你做的第一件事就是将它们复制到另一个文件夹可以说,“过程文件夹”,以确保这些文件是由“人”碰不得。
在我的项目中,我们用视频组工作,我们生成使用{{ts_nodash}}默认变量触发相关的文件夹。