airflow-scheduler 相关问题

Apache Airflow调度程序监视所有任务和所有DAG,并触发已满足其依赖关系的任务实例,Apache Airflow是一个以编程方式编写,计划和监视工作流的平台。

Google cloud composer:任务在schedlued dag运行中未被执行,但在手动dag运行中成功执行。

我有一个有多个任务的DAG。当DAG被调度器执行时,它得到了运行状态,但DAG中的所有任务没有任何状态。但是如果手动执行同一个DAG(点击触发DAG按钮) - ...

回答 1 投票 0

如何从另一个dag.py文件中定义Airflow中的子dag taks?

我想制作一个父DAG和几个子DAG,通过SubDagOperator调用。我只能找到如何在SubDagOperator任务中动态创建子Dag的例子。然而,在这种情况下,我...

回答 1 投票 0

Airflow dag中的Catchup标志不能正常使用。

步骤(今天是2020年1月7日):1)在Airflow dir中放入以下dag:from datetime import datetime from airflow import DAG from airflow.operators.bash_operator import BashOperator dag = DAG(......

回答 1 投票 0

dag.py会引发 "airflow.exceptions.AirflowException: Task is missing the start_date parameter", but its given in code.

我今天尝试创建我的第一个 airflow DAG: from datetime import timedelta from airflow import DAG from airflow.operators.bash_operator import BashOperator from airflow.operators.dummy_operator ....

回答 1 投票 0

气流。Python脚本在使用BashOperator运行时,如何发出任务失败的信号?

当使用 Airflow 1.10.9 的 BashOperator 运行 Python 脚本时,task_1 = BashOperator( task_id='task_1', bash_command='pathtoenvpython pathtotask_1.py' dag=dag) 可以做什么?

回答 1 投票 0

Airflow中有没有类似RecipeOperator的东西?

我知道Airflow中有PythonOperator,但我想知道是否有类似RecipeOperator的东西可以在DAG中运行配方。如果没有,我怎么能创建一个?

回答 1 投票 0

当schedule_interval=None时,下游DAG任务不会运行。

我配置了一个 DAG,其 schedule_interval 参数设置为 None。当我使用气流用户界面中的 Trigger Dag 按钮手动触发 DAG 时,它成功地运行了第一个任务,但 ...

回答 1 投票 0

大量任务时,气流调度器不调度(或缓慢调度)。

我在Google Cloud Composer(版本:composer-1.10.2-airflow-1.10.6)上使用airflow。我意识到,我的调度器不调度任务时,有很多的任务处理(见...

回答 1 投票 0

如何删除Airflow中未使用的XCOM对象?

我工作的公司在运行完一个DAG后,从不删除XCom对象。现在,它有超过500页的XCom对象,我知道它占用了一些元数据数据库的存储。我正在尝试...

回答 1 投票 0

Airflow Kubernetes执行器,任务在排队状态,pod说无效的图像和使用本地执行器。

strong text我在docker中安装了airflow,使用kubernetes执行器无法触发dag。Dag运行处于排队状态。KubernetesExecutor正在创建pod,但它说无效的图像。如果我...

回答 1 投票 0

DAG在气流界面上不可见

这是我在dags文件夹中的dag文件。随气流的代码位于:http:/airflow.readthedocs.orgenlatesttutorial.html """ from airflow import DAG from airflow.operators......。

回答 1 投票 0

Airflow DAG文件夹不可见

我刚刚在ubuntu中安装了Airflow,我正在按照教程创建DAG。成功安装气流之后,我在airflow home中创建了dags文件夹,并创建了示例DAG文件,形式为...

回答 1 投票 0


需要上下文限制的建筑气流DAG

我有一组要作为DAG Group1运行的作业单元(工人),它有10个工人,每个工人从数据库中提取多个表。请注意,每个工作程序都映射到单个数据库实例,并且...

回答 1 投票 5

气流DAG的手动触发会干扰预定的气流触发吗?

我想使用DAG来运行一些作业。我已将表达式安排为每25分钟一次,例如* / 25 * * * *。例如,它似乎在6:25、6:50和7一样运行,但是我想运行...

回答 1 投票 1

如果较早的任务失败,如何停止我的从属任务

[嗨,我想设置Airflow作业时间表...,我有3个任务,即task_1> tast_2> task_3。如果第一个任务task_1失败,我需要停止执行剩余的任务。如何处理? ...

回答 1 投票 0

使用PostgresSQL 12作为后端数据库时,Airflow Scheduler持续发出警告

尽管正在执行气流调度程序,但继续打印以下消息,但任务没有被执行。 [2020-02-21 09:21:20,696] {dag_processing.py:663}警告-DagFileProcessorManager(...

回答 1 投票 0

如何安排有任务的任务

不幸的是,即使阅读了此处的许多问题以及气流网站的FAQ页面,我仍然不了解气流如何安排任务。我在这里有一个非常简单的示例任务:from ...

回答 1 投票 0

Apache Airflow-rest API身份验证

我正在尝试使用AirFlow rest API触发我的任务。但是无法理解如何进行身份验证。在我的浏览器中,以下URL可以正常运行。 http:// localhost:8181 / api / experimental / dags / ...

回答 1 投票 0

Airflow kubernetesPorOperator示例无法运行

[尝试运行示例kubernetesPodOperator检索:[2020-05-25 20:00:40,475] {{init.py:51}}信息-使用执行程序LocalExecutor [2020-05-25 20:00:40,475] {{dagbag .py:396}}信息-正在填充...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.