airflow-scheduler 相关问题

Apache Airflow调度程序监视所有任务和所有DAG,并触发已满足其依赖关系的任务实例,Apache Airflow是一个以编程方式编写,计划和监视工作流的平台。

我在AWS中已有一个EMR集群。我想从气流到aws现有群集运行dag

我有一台气流机器,其版本为apache-airflow == 1.10.5。我知道如何运行自动创建集群的dag并运行该步骤并终止集群。在...

回答 1 投票 0

要在时间窗口中运行至午夜

我有一个AirFlow调度程序,我希望在周一至周六的13点之前运行。我写了一个这样的表达式:0 13-0 * * 1-6例如,尝试在crontab.guru中对此进行验证时...

回答 1 投票 0

cron在一个时间范围内运行直到午夜

我有一个AirFlow调度程序,我希望在13点运行直到Monady到周六的午夜。我写了一个这样的表达式:0 13-0 * * 1-6例如,尝试在crontab.guru中对此进行验证时...

回答 1 投票 0

Airflow Scheduler问题

[执行气流调度程序sqlite3.OperationalError:磁盘I / O错误时出现错误,上述异常是以下异常的直接原因:sqlalchemy.exc ....

回答 1 投票 1

气流跳过当前任务

Airflow是否有一种方法可以从(Python)操作员中跳过当前任务?例如:def execute():if条件:skip_current_task()task = PythonOperator(task_id ='task',...

回答 2 投票 0

触发规则none_skipped无法正常工作

我有一种情况,我需要使用none_skipped触发规则,但行为异常。这是我的情况。分支任务B,如果为T1 >> T2 >> joinTask,如果为假F1 >> F2 >> joinTask,如果...

回答 1 投票 1

气流无法识别DAG计划

我正在尝试制定每周,每月的空气流量表,但是它不起作用。谁能报告可能发生的事情?如果我按周,按月进行计划,则它会保持静止,就像已关闭一样。否...

回答 1 投票 1

如何在气流中实施Canary DAG进行其他工作的健康检查?

我的团队有多项气流工作。经常运行的作业已被调度并正常运行,但是很少运行的作业未被调度并被跳过。我主要是...

回答 1 投票 1

我如何将在AWS EC2上设置的Airflow正确连接到RDS?

我在运行Web服务器/调度程序的EC2上有一个气流实例。我想将MySQL RDS实例连接为后端元数据数据库,而不是本机SQLite。我替换了一个...

回答 1 投票 0

Alteryx的气流操纵器

有人写过或知道Alteryx的气流操作员的下落吗?尝试自动执行通常手动执行的现有Alteryx工作流程。如果这完全有帮助,...

回答 1 投票 0

气流等待批量完成所有任务启动一套新的要求之前,

我使用的气流1.9.0。我们认识到,调度得到有时卡住等待长时间运行的任务,开始一个新的组任务之前完成。当这种情况发生的所有气流任务...

回答 1 投票 1

问题与气流的版本1.10.1

最近我已经升级气流的版本1.10.1。我打开一些的DAG打开,在其上先前标记OFF。我一直在使用起始日期为DAG为今天的日期。接通后...

回答 1 投票 1

如何使需要处理从今天的数据DAG?

我有开始在每天下午7:30在DAG。它需要处理位于/数据/ YYYY-MM-DD /目录中的文件。 YYYY-MM-DD是同一天。如果我使用execution_date + timedelta(天= 1),它的工作原理...

回答 1 投票 1

空气气流中,运行时动态任务

关于“动态任务的其他问题似乎解决在计划或设计时DAG的动态构建。我感兴趣的是在执行过程中动态地添加任务到DAG。从气流...

回答 2 投票 13

为什么Apache的气流计划的DAG手动优先于触发的DAG?

我有一个时间表运行的DAG,并且里面的任务,找到一个路径,并处理一个文件,并将该文件移动到存档文件夹中。与其等待时间表,我手动触发...

回答 1 投票 0

是否阿帕奇气流1.10+调度支持运行2分的DAG在特定时间使用不同的DST意识到时区?

Apache的气流1.10+引入DST意识到时区的原生支持。这使我认为(可能是错误),应该可以在相同的气流调度是创建2分的DAG ...

回答 2 投票 2

如何在气流重试期间保持一个值

每次dag触发一个任务我想生成一个值并在重试期间保持该值(如果任务因任何原因无法运行)我尝试在dag中声明一个变量(基本上设置...

回答 1 投票 0

通过循环遍历列表并传递参数来在Airflow中创建任务

编辑:这将工作,我定义ex_func_airflow(var_1 = i)导致问题我想通过循环列表在气流中创建任务。 tabs = [1,2,3,4,5] for i in tabs:task = ...

回答 1 投票 0

python - 如何配置每天运行两次的气流dag

通过我最近的研究,我逐渐意识到气流的schedule_interval有一些怪癖,我已尽力尝试解释它可能影响我正在做什么,但没有......

回答 1 投票 0

气流调度程序无法接收预定的DAG,但在手动触发时会运行

我用python 3.5.6安装了Airflow 1.10.2。元数据位于Mysql数据库中,使用LocalExecutor执行。我用以下时间表创建了示例helloworld.py dag。 ...

回答 1 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.