Airflow是一个工作流管理平台，可以编程方式创作，安排和监控工作流，作为任务的有向非循环图（DAG）。
CeleryExecutor 如何执行 KubernetesPodOperator？
我有一个 Airlfow 实例在 Azure Kubernetes 服务中运行。使用官方 Helm 图表进行部署。我注意到那里使用了 CeleryExecutor 。我有 KubernetesPodOperator 任务，想知道如何实现
解析 Json 错误：必需的属性需要一个值，但得到 null
嘿有人可以帮我吗， 这个流程一直工作正常，但我今天尝试使用它，但出现了这个错误。请帮我弄清楚。附件是我的错误以及之前的步骤和...
如果 Airflow 任务组中的任何任务失败并错误地触发 all_done 触发器，则 Airflow 任务组将被标记为已完成
所以我问题的根源是我有一个包含多个任务的任务组，偶尔会有一个任务失败，这会将任务组的状态立即设置为失败，而不是等待所有任务...
AirflowExternalTaskSensor在bigquey中加载表
我有DAG，它正在将数据加载到bigquery表A中。 表A依赖于其他8个表，并且这些表的DAG在不同时间触发。 我想为表 A 创建一个 DAG，这样...
如果我在任务中发送 http 请求，为什么我的 Airflow 会挂起？
系统：MacOS Apple M1（本机） 气流：2.5.3 执行器：带有 Postgres 数据库的本地 我正在尝试实现一些外部触发的工作流程，这些工作流程从我们的 REST API 加载数据。我就是我们...
我想动态创建n个任务，n应该由参数定义，这样我就可以在UI中运行dag时定义它： 进口摆锤 从airflow.decorators导入dag，任务 @达格（ 日程=N...
我正在本地 Windows 11 计算机上运行 Apache Airflow。 Airflow 进程已启动并正在运行，并且可通过 localhost:8080 地址访问 Airflow UI。 我在 dags 中还有 DAG 文件（tuto.py）
Airflow 2.6.1 将特定模块的日志级别设置为 WARN 不起作用
我正在运行由 Airflow 2.6.1 安排的 Spark 3.4.1 任务。使用 SparkSubmit 运算符。 Spark 正在集群模式下运行，因此我没有来自 Spark 驱动程序的显式日志。相反，我...
我知道有一种方法可以删除 DAG。但是是否可以删除具有特定 run_id 的 DAG 运行？就像是： 气流删除_dag_run
我是 Kafka 新手，目前正在尝试将数据从 Airflow 发送到 Kafka 代理。但是，我遇到了一个问题，它报告代理的 DNS 查找失败。 经纪服务在做...
借助新的动态任务映射功能，可以使用扩展功能并根据先前任务的输出创建可变数量的任务。 问题是，如
如何将 run dag 的触发器添加到 Airflow 中的另一个 dag（带有装饰器）中？
我在同一个 dags 文件夹中有 2 个 dags： dag_update_database (dag_update_database.py) dag_add_client_loyalty (dag_updade_clients_loyalty.py) 我需要在成功运行第一个 dag 后立即运行第二个 dag....
如何将气流连接凭据传递给DatabricksSubmitNowOperator而不暴露它们？
我对气流相当陌生，在任何地方都找不到信息。目前，在我的 DAG 中，我正在读取气流中配置的现有 Postgres 连接，从而获取它的凭据并传递...
我有一个 PythonOperator 任务，需要在调用 python 可调用函数之前将参数传递给构造函数。 PythonOperator(task_id='mytask', 提供_上下文=真， ...
AWS 托管 Airflow 中运行的并发任务数量并不线性依赖于 Workers 数量
AWS 提供将 Airflow 作为服务运行。它有 3 种不同的运行环境，即小型、中型和大型。这些环境具有不同的 CPU 和 RAM 配置。我...
最近开始使用 Airflow 进行各种工作，试图掌握模板。 EmailOperator 给我留下了深刻的印象，在其中您可以指定 html_content 为 HTML 文件，这...
我可以在当前运行失败时立即触发DAG（无论哪一个任务失败），而不进行调度吗？
无法使用 Classic Load Balancer 公开 Airflow UI
我有一个在 EKS 集群上运行的气流头盔版本 姓名就绪状态重新启动年龄标签 pod/airflow-postgresql-0 1/1 正在运行...
将结果状态从 AzureContainerInstancesOperator 检索到 Airflow 中的 XCOM 中
我希望 Airflow DAG 在 Airflow 中运行 AzureContainerInstancesOperator 任务后获取一些状态信息。使用等效的 docker 操作符 DockerOperator，这是可能的...
从 Airflow 连接到 Spark Standalone 集群
我使用 docker-compose 文件在本地环境上运行气流，并且 Spark 独立集群也在本地运行。我登录到气流工作容器并尝试将 Spark 作业提交到独立