directed-acyclic-graphs 相关问题

有向非循环图出现在许多数据结构中,例如分布式版本控制系统中的变更集图。

使用数据感知调度来触发下游DAG,同时使用额外参数中包含的元数据作为下游DAG的参数

我目前有 2 个 DAG,其中包含可以设置为 run_date 的相同参数。我希望上游 DAG 使用入口和出口数据集触发下游 DAG,这看起来很直观......

回答 1 投票 0

DAG 中两个节点之间的路径数

我想找到 DAG 中两个节点之间的路径数。 O(V^2) 和 O(V+E) 是可以接受的。 O(V+E) 提醒我以某种方式使用 BFS 或 DFS,但我不知道如何使用。 有人可以帮忙吗?

回答 4 投票 0

从给定 DAG 中存在的每个节点开始可到达的节点总和,并限制每个节点的子节点数量

这是 XXX 波兰信息学奥林匹克竞赛第二阶段的一道题,题为“Wspinaczka”。波兰语原始问题陈述的链接。 让我们将上面的故事压缩成算法问题

回答 1 投票 0

如何使作业“b”在“a”之后运行,但仅当“a”成功时运行

在 Gitlab 中,有作业的 need 关键字,我可以用它来创建依赖项。 我真正不清楚的是我如何使工作 b 依赖于工作 a 但仅在工作 a 成功时才运行它(不...

回答 1 投票 0

将参数从 ECS 传递到 Airflow XCom

我想在Airflow中创建一个DAG来触发ECS任务。然后,此 ECS 任务将向 Airflow 返回一些参数,允许 DAG 使用这些参数触发下一个依赖的 ECS 任务...

回答 1 投票 0

如何可视化任意有向无环图?

我正在寻找一种算法来自动可视化大型 DAG。它需要很好地扩展到数百甚至数千个节点和连接(而不变得不可读)。连接应该...

回答 2 投票 0

Dijkstra 具有正权重和循环的有向图算法

如果我有一个带有循环且只有正权重的有向图,并且不使用优先级队列,而是使用队列并继续添加所有子项,包括那些因为我选择而被访问的子项...

回答 1 投票 0

在Airflow中运行docker容器和python脚本

所以我有一个 Scrapy 项目,我可以将其容器化在 Docker 中,以及一个 Jupyter 笔记本(用于正常的数据预处理)。我想使用 Airflow 将它们自动化,但遇到了几个

回答 1 投票 0

Airflow DAG 调度问题:为每月和每周运行传递正确的执行日期

我面临 Airflow 的问题,即我的 DAG 未将正确的执行日期传递给 DAG 中的查询。我有两个 DAG,其中一个计划在每月第一天运行,并且

回答 1 投票 0

在 Airflow DAG 中调用 Google 云函数

我有一个正在运行的谷歌云功能,我正在尝试从 Airflow DAG 调用它。 到目前为止我尝试过的是使用 SimpleHttpOperator: MY_TASK_NAME = SimpleHttpOperator( t...

回答 3 投票 0

如何在Airflow中组合多个DAG

我真的需要知道如何使用 Airflow 让多个 DAG 相互调用(例如 DAG_1 >> DAG_2),类似于它如何使用上游/下游运算符在 DAG 中运行任务。 我需要...

回答 2 投票 0

我们如何在单个 dag 中添加 2 个 sql 查询

export_query: sql_query1 ; 导出查询过滤器:“” 处理模块: 'export_bqtobqtmp_task' 'export_bqtmptogcs_task' 'pre_shell_execution' 'post_shell_execution' 处理_依赖...

回答 1 投票 0

如何在不触发的情况下取消暂停Airflow DAG

我创建了一个 dag 工厂。 我将 dag 切换到取消暂停状态,它们立即开始工作,尽管设置了计划间隔值。尝试通过指定 is_active=False 来覆盖 DagModel。

回答 1 投票 0

气流 DAG 出现错误,>> 不支持操作数类型:“列表”和“列表”。任务的顺序和并行执行

我是 Apache Airflow 和 DAG 的新手。 DAG 中共有 6 个任务(task1、task2、task3、task4、task5、task6)。但在运行 DAG 时,我们收到以下错误。 不支持 DAG

回答 6 投票 0

有没有办法使用R包ggraph(或类似的)绘制到网络节点的定向入口/出口点?

用例:我正在尝试使用优秀的 ggraph 包在 R 中绘制考古“哈里斯矩阵”。哈里斯矩阵是按时间顺序建模的关系有向图

回答 1 投票 0

在 python 中分割 dag 依赖关系

在 Python 中分割 dag 依赖项 我尝试实现一个用于拆分 dag 依赖项的脚本,我的目标是拆分节点依赖项,以便对于具有多个依赖项的每个节点,我

回答 1 投票 0

Python 中的广度优先搜索(BFS)用于分割 dag 节点

Python 中的广度优先搜索 (BFS),用于分割 dag 依赖项

回答 1 投票 0

为什么 Airflow 无法识别我的 bash 命令?

我从 py 文件创建了一个 DAG。当我触发 DAG 时,它在第一个任务上挂起。我的日志是这样写的: [2022-04-16 20:51:05,371] {subprocess.py:74} 信息 - 运行命令:['bash', '-c', '...

回答 1 投票 0

是否可以将 PySpark ETL 管道的每个步骤分配给 Airflow DAG 的单独任务?

据我所知,我需要使用 SparkSubmitOperator 来提交我的 PySpark 脚本。但是,如果我想将 Spark 作业的提取、转换和加载部分分配给 Ai 中的不同任务该怎么办...

回答 1 投票 0

有向无环图中“菱形”的正确术语是什么?

我想谈谈有向无环图中从一个节点到另一个节点有不止一条路径的地方。这不是一个“循环”,我该怎么称呼它呢?我使用“钻石”这个词,但是

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.