directed-acyclic-graphs 相关问题

有向非循环图出现在许多数据结构中,例如分布式版本控制系统中的变更集图。

气流DAG未能被触发。

我最近刚开始使用Airflow,在写了一个简单的DAG将数据从sftp服务器传输到s3后,我在触发DAG时遇到了这个错误:AttributeError: 'NoneType' object ...。

回答 1 投票 0

为什么airflow没有像拖拽一样用用户界面构建dag和任务的功能?

我已经使用apache airflow好几个月了,也有GCP composer、AWS数据管道和Glue的经验,Glue是托管服务 在Airflow中,我知道DAG和任务是写在 ...

回答 1 投票 0

气流dag_id不存在或无法解析。

目前,我正在学习如何使用Apache Airflow,并试图创建一个简单的DAG脚本,像这样从datetime import datetime from airflow import DAG from airflow.operators.dummy_operator import ...。

回答 1 投票 0

获取'NoneType'对象没有属性'extra_dejson'错误。

我配置了我的apache airflow。当我从Apache用户界面运行它时,在日志中得到以下错误。我找了很多资料,但都没有找到。错误:'NoneType'对象没有属性'extra_dejson'。

回答 1 投票 0

DAG在气流界面上不可见

这是我在dags文件夹中的dag文件。随气流的代码位于:http:/airflow.readthedocs.orgenlatesttutorial.html """ from airflow import DAG from airflow.operators......。

回答 1 投票 0

Apache Airflow DockerOperator找不到docker模块。

所以我试图使用DockerOperator运行一个简单的dag。我在我的conda环境中使用以下模块运行命令airflow webserver。软件包版本 ---------------...

回答 1 投票 0

如何使用NGX-Graph创建具有不同形状的DAG(图形)

我想创建具有自定义节点形状和自定义颜色的图形。我也想在边缘贴上标签。我如何使用NGX-Graph(https://swimlane.github.io/ngx-graph/)做到这一点,例如

回答 1 投票 1

Python networkx-在2个节点之间的DAG中查找重路径

我对python networkx不支持特定2个节点之间的重路径感到非常惊讶,我有一个很大的图(DAG),〜70K个节点,每个边上都有一个权重属性(权重> = 0)...] >

回答 1 投票 0

Airflow DAG'开始日期'未注册

我有一个气流环境设置,可以正确指向我正在使用的DAGS。一个DAG无法加载,因为其导入失败[2020-06-05 19:09:15,814] {dagbag.py:205}错误-未能...

回答 1 投票 0

将代码从.bat文件放入Dag文件apache气流中

我是BI的新手,我需要一些帮助,我正在使用Windows Jobscheduler来执行任务,但有时会出错,因此我正转向apache airflow,我已经执行了一个bat文件,但我...

回答 1 投票 0

非循环图3D Javascript

我正在寻找一种JS DAG算法,以绘制从中心穿过一组堆叠的多维数据集的所有点的线,而从未经过同一点两次。想象一下像4x4 ...

回答 2 投票 2


DAG中多个节点的最不祖先

我如何在有向无环图中找到多个节点的最不祖先?我已经找到了很多关于该主题的论文,但是他们似乎都在DAG中为两个节点找到了LCA。有没有好的...

回答 2 投票 3

Google Cloud Composer(Airflow)-DAG中的数据流作业成功执行,但DAG失败

我的DAG看起来像这个default_args = {'start_date':airflow.utils.dates.days_ago(0),'retries':0,'dataflow_default_options':{'project':'test','tempLocation':'gs :// ...

回答 1 投票 2

我们能以某种方式利用某些技巧实现任务在气流中的循环运动吗?通常不可能,但是有什么办法吗?

我知道它只允许无周期运动,但是有什么办法可以像我们可以编程方式实现它吗?

回答 1 投票 0

有向无环图的特定拓扑排序

有向无环图的拓扑顺序不是唯一的,但取决于遍历出站边的顺序。我需要特定的遍历顺序。因此函数...

回答 1 投票 2

将转换后的oozie DAG部署到Google Composer Airflow:无名为'o2a'的模块

我正在使用Google oozie到气流转换器来转换在AWS EMR上运行的某些oozie工作流程。设法获得了第一个版本,但是当我尝试上传DAG时,气流引发错误:...

回答 1 投票 0

如何轻松地对管道进行DAG分析?

要优化管道,了解速率限制规则或路径很重要。根据DAG分析,是否有任何方法可以轻松计算关键路径或关键事件?

回答 1 投票 0

如何使用Python在气流中成功触发另一个DAG时触发DAG?

我有一个Python DAG父作业和DAG子作业。子作业中的任务应在成功完成每天运行的父作业任务后触发。如何添加外部作业...

回答 2 投票 6

仅当使用python中的DAG在AWS athena表中可用的新分区/数据可用时,如何触发Airflow任务?

我有一个如下所示的场景:仅当源表(Athena)中有新数据可用时,才触发任务1和任务2。当在...

回答 1 投票 4

© www.soinside.com 2019 - 2024. All rights reserved.