airflow-scheduler 相关问题

Apache Airflow调度程序监视所有任务和所有DAG,并触发已满足其依赖关系的任务实例,Apache Airflow是一个以编程方式编写,计划和监视工作流的平台。

气流 DAG 出现错误,>> 不支持操作数类型:“列表”和“列表”。任务的顺序和并行执行

我是 Apache Airflow 和 DAG 的新手。 DAG 中共有 6 个任务(task1、task2、task3、task4、task5、task6)。但在运行 DAG 时,我们收到以下错误。 不支持 DAG

回答 6 投票 0

如何修复 Airflow DAG 日志中的“无法从工作程序获取日志文件。不支持的 URL 协议”错误?

我正在通过docker通过此图像apache/airflow:2.1.0运行Airflow 请参阅此线程以了解我遇到的初始错误。 目前我可以运行我以前现有的 DAG。 然而当...

回答 7 投票 0

Airflow - 无法在给定端口启动调度程序

当我尝试执行气流调度程序 CLI 命令来运行气流调度程序(本地)时,并不断收到使用中连接的错误:('0.0.0.0',8794)。没有调度程序进程正在运行,但是...

回答 1 投票 0

读取 XCOM 和 Airflow 变量可能会减慢 Airflow(在 Google Cloud Composer 中)

我们正在尝试将每日 (CSV) 提取文件合并到我们的数据仓库中。 在我们的用例中,所有 DAG(~2000)的 DAG 的 python 代码都是相同的,因此我们通过 DAG 生成器逻辑生成它们......

回答 1 投票 0

气流远程文件传感器

我正在尝试查找远程服务器中是否有任何文件与提供的模式匹配。类似于下面的解决方案 气流文件传感器,用于感测本地驱动器上的文件 我用过

回答 2 投票 0

气流尝试编号问题

我在测试过程中遇到错误,有人对此有任何线索吗? 代码: 相对路径 = self._render_filename(ti, ti.try_number) 错误: 属性错误:“str”对象没有属性“

回答 3 投票 0

气流:schedule_interval = '@once'

将airflow的schedule_interval设置为“@once”与None之间有什么语义区别? 如果我理解正确的话,它们都需要手动触发 dag 才能......

回答 2 投票 0

Airflow:ValueError:无法配置处理程序“处理器” - wasb 记录器

我正在尝试使用 Azure blob 配置远程日志记录。 气流版本:1.10.2 蟒蛇:3.6.5 乌班图:18.04 以下是我所做的步骤: 在 $AIRFLOW_HOME/config/log_config.py 中,我放置了

回答 4 投票 0

Airflow:通过带有参数/配置的 UI 触发 DAG

我发现可以使用气流命令行来使用参数/配置键值对来触发_dag: 对于Apache Airflow,通过CLI手动触发DAG时如何传递参数? 在我的家里...

回答 3 投票 0

如何在 Airflow 中调度 Python 脚本?

我在 Windows 中有以下目录/文件结构: 学习气流 | 项目 |_dags |_file_mover.py |_first_dag.py |_dockerfiles ...

回答 2 投票 0

如何重新运行已经使用TriggerDagrunoperator执行的dag?

我有一个 dag,我正在使用以下运算符列表 TriggerDagrunoperator-触发另一个dag ExternalTaskSensor-获取触发的dag的状态 我的用例: 举例来说,如果整个流程

回答 4 投票 0

Airflow 任务陷入“排队”状态并且永远无法运行

我正在使用 Airflow v1.8.1 并在 kubernetes 和 Docker 上运行所有组件(worker、web、flower、scheduler)。 我将 Celery Executor 与 Redis 结合使用,我的任务如下所示: (开始)->(

回答 7 投票 0

防止禁用的 DAG 在启用时立即运行

在 Airflow 1.10.10 中,当通过按下按钮将其状态从“关闭”更改为“打开”来启用禁用的 DAG 时,DAG 将始终在下一个计划运行时间之前运行一次。 可以看到吗...

回答 3 投票 0

Errno 13 当 Airflow 尝试写入日志时权限被拒绝

我们在使用 Airflow 时遇到权限错误,收到以下错误: PermissionError:[Errno 13]权限被拒绝:'/usr/local/airflow/logs/scheduler/2019-12-18/../../../../ho...

回答 9 投票 0

如何使 Apache Airflow 中的 DAG 像简单的 cron 作业一样运行?

Airflow 调度程序在过去的几天里让我有点摸不着头脑,因为即使在 catchup=False 后它也会回填 dag 运行。 我的时区感知 dag 的开始日期为 13-04-2021 19:30 PST 或 14-04-2...

回答 2 投票 0

Airflow - 从 UI 中的 DAG 搜索结果页面删除后,已删除的任务实例未重新运行

我们正在运行大量的 DAGS,因此每个日历日期都有数千个任务实例。我们有零星的日子失败了,我们正在尝试重新运行这些日期

回答 1 投票 0

Airflow BashOperator OSError:[Errno 2]没有这样的文件或目录

我不断从当前正在回填的预定 BashOperator 中收到相同的错误(“落后”了一个多月)。 [2018-06-10 22:06:33,558] {base_task_runner.py:115} 信息 - 运行:['bash...

回答 3 投票 0

Airflow 有什么方法可以直接从 s3 中选取我的 DAG 文件吗?

Airflow 只能从“/dags”文件夹或特定的 Github 存储库中选取 DAG。 我们还有其他方法可以让 Airflow 从中选择 DAG 吗?

回答 1 投票 0

如何检查气流调度程序的健康状况?

我已经使用postgreSSQL数据库配置了apache-airflow,并且在我的airflow中我运行了1个dag,现在它运行成功,但是如果调度程序有任何问题意味着我如何得到它以及什么......

回答 2 投票 0

Airflow - 如何在 DAG 级别执行回调

我在 Airflow 中有一个用例,我需要重写 DAG 类来创建我自己的 DAG 类型。我需要的是,每当我的 DAG 被调用时,我需要执行某个函数。我知道有

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.