Airflow是一个工作流管理平台，可以编程方式创作，安排和监控工作流，作为任务的有向非循环图（DAG）。
在 k8s 中运行自己的 Airflow 的 OpenMetadata
我正在尝试使用官方 Helm Chart 在 k8s 中运行 OpenMetadata，但我想使用已经运行的 Airflow 实例。 我按照文档设置了 openmetadata 依赖项......
BashOperator 是否可以访问 PythonOperator 保存在目录中的文件？
我目前正在开发一个项目，我需要从一系列非常大的文本文件中 grep 一些行。文本文件与数千个其他文件一起位于 gcs 存储桶中。 他们需要合作...
我的 Airflow 任务遇到以下问题。我是这个主题的新手，尽管我已经阅读过它，但我无法解决它。 其中一项任务从 Spotify 检索访问令牌。重新...
您好，我有一个用例，我需要对数据集合运行一系列转换。 我将转换序列分组到一个任务组中，以便动态地将 tg 映射到...
我使用的是Ubuntu 16.04，我已经使用pip安装了Airflow。下一步 气流初始化数据库 [2017-07-29 12:20:23,483] {__init__.py:57} 信息 - 使用执行器 SequentialExecutor DB：sqlite:////home/milenko/air...
我有一个场景，我想处理 csv 文件并加载到其他数据库： 案例 pic csv 文件并加载到与 csv 同名的 mysql 然后使用 py 对加载的行进行一些修改...
Airflow - 根据条件停止 DAG（跳过分支后的剩余任务）
我是气流方面的新手，所以我在这里有疑问。 如果满足第一个任务的条件，我想运行 DAG。如果条件不满足，我想在第一个任务之后停止该任务。 例子： # ...
我有以下 DAG，它应该生成变量中指定的尽可能多的任务，但映射的任务选项卡显示“未找到数据”： 从日期时间导入日期时间 从时间导入睡眠
从失败的 Airflow KubernetesPodOperator 任务中提取 XCOM 值
我正在开发一个继承自 KubernetesPodOperator (KPO) 的操作符来执行 bash 脚本。 我有内置的错误处理来处理此 b 失败的许多可能原因...
[Airflow]：使用 Xcoms 在 DockerOperator 上进行动态任务映射
我正在创建一个 dag，它应该执行以下操作： 获取事件 ID 对于每个事件 ID，获取事件详细信息 ( DockerOperator ) 下面的代码是我尝试做我想做的事情： 进口再 从日期时间
[Airflow]：使用 Xcoms 在 docker 容器上应用动态任务映射
我正在创建一个 dag，它应该执行以下操作： 获取事件 ID 对于每个事件 ID，获取事件详细信息 这两个步骤使用 docker 容器，因为我不想使用 PythonOperator，因为我...
关于以下任务。我有一个分支任务（choose_best_model），我想知道是否可以使用数据返回“is_accurate” @task.branch def select_best_model(准确度): ...
Airflow 如何从 on_failure_callback 自定义函数运行 bash 脚本
我想创建一个将在 on_failure_callback 上释放的函数。 它必须在安装 Airflow 的服务器上启动一个脚本。 有什么技巧可以做吗？
如何在 Airflow 中设置 SFTPSensor 以对服务器上出现的任何文件做出反应？
我对 Airflow 还很陌生。我正在尝试设置 SFTPSensor 以查看 SFTP 服务器上的文件夹中是否出现任何文件。对我来说，这听起来像是 file_pattern 中的正则表达式“*”
尝试从 Airflow DAG 失败中触发 AWS SNS 主题，以调用为失败的 DAG 创建 JIRA 票证的 Lambda 函数
我创建了一个测试 dag，该测试 dag 在运行测试时失败，但在 dag 失败后我无法触发 SNS 主题。 是否缺少或添加了某些内容使其无法工作并且
所以我有一个 Scrapy 项目，我可以将其容器化在 Docker 中，以及一个 Jupyter 笔记本（用于正常的数据预处理）。我想使用 Airflow 将它们自动化，但遇到了几个
Airflow Webserver Pod 无法从工作 Pod 获取日志
我已在 AKS 中部署了 Airflow [2.9.3]。但执行 DAGS 时出现以下错误。没有任何线索需要更新。我正在使用 Helm [1.15.0] 进行部署。我完全不知道...
使用 Airflow 2.10.2，以管理员角色连接。 “数据集”选项卡不可见。 气流实例包含带有输出数据集任务的 dag。没有导入错误，数据集 c...
Airflow DAG 调度问题：为每月和每周运行传递正确的执行日期
我面临 Airflow 的问题，即我的 DAG 未将正确的执行日期传递给 DAG 中的查询。我有两个 DAG，其中一个计划在每月第一天运行，并且
尽管 Spark History UI 作业陷入运行状态，但作业在气流中失败。 AWS 无服务器
有没有人经历过 Airflow 中作业失败的情况，尽管在 Spark History UI 中，作业仍然停留在运行状态。另外，我添加了一行代码将数据写入S3（不读取我...