有向非循环图出现在许多数据结构中,例如分布式版本控制系统中的变更集图。
我刚刚开始关注 Alembic,来自 Django,我们有 South 来迁移我们的数据库模式(很快就会包含在内),它使用友好的旧固定宽度数字,如
如何从有向图中删除循环?这是一个大图(100k+ 节点 200k+ 边),因此该方法需要高效。我需要使有向图成为非循环才能使用像 net 这样的函数...
有人用过sns_publish_operator吗? https://airflow.apache.org/docs/apache-airflow-providers-amazon/stable/_api/airflow/providers/amazon/aws/operators/sns/index.html 我对气流还很陌生...
如何检查有向图是否是无环图?以及该算法是如何调用的?我希望能提供参考。
我想创建一个每日 DAG,根据 DAG 执行开始的日期读取文件。该文件包含当天要处理的文件夹列表。文件夹的数量每天都会变化。如果...
我们如何使用TriggerDagRunOperator触发多个气流dags?
我有一个场景,其中特定的 dag 在完成后需要触发多个 dag,已使用 TriggerDagRunOperator 触发单个 dag,是否可以将多个 dag 传递给
我正在研究一种算法,我想知道以下问题是否已被研究并有一个名称: 取一个具有加权边和一个没有输入的根节点的连接有向无环图...
我想解决这个问题:有向图上的GCD 我对 SCC、拓扑排序、Kosajaru 算法等很陌生。 一般来说,我认为我们在路径中使用的节点越多,结果就越好,b...
如果文件为空,如何停止 Airflow DAG 并跳过未来处理?
我正在开发 Airflow DAG,仅当文件不为空时,我才需要对文件执行某些处理任务。理想情况下,工作流程应检查文件是否有内容,以及是否为空......
我已经成功地在 Julia 中使用多线程来模拟具有不断变化的值的图,并且希望在 Python 中实现类似的方案。 因为时间 t 时节点的值可能取决于...
我正在尝试将 sla 与 Airflow DAG 结合使用。但我无法在文档中的任何位置获取 sla 的默认值(当未检查 SLA 时)。 任务2 = Python运算符( task_id = "task_2&qu...
我一直在尝试使用pip安装命令在我的机器上安装apache airflow。我在虚拟环境中成功安装了airflow。当我尝试运行“airf...
创建自定义 Apache Airflow FileSensor,在传感器超时后重试
我希望我的 FileSensor 在特定目录中检查文件,如果该文件不存在,我希望它创建该文件,然后再次查找它。这次,由于文件存在,它应该
我有一个 DAG 'abc' 计划在每天上午 7 点(美国中部标准时间)运行。由于某种原因,我不想运行明天的实例。我怎样才能跳过那个特定的实例。有什么办法可以使用通讯来做到这一点...
我可以直观地看到这个假设是正确的,但从数学上我无法证明。任何帮助将不胜感激。
各位,我花了 3-4 天在谷歌上搜索一些信息来编写 python 测试用例来测试整个 dag(而不是任务)。我什么也没发现。 我想知道是否可以做到这一点,如果可以的话,那是什么
我们有一个要求,我们需要向客户端提供步骤,将其环境中的所有气流 dag 脚本提取到单个文件中,以便我们可以手动分析它。 我有线索...
超时气流会产生大量日志。我想知道是否可以通过气流内置配置根据气流日志的年龄来删除它
超时气流会产生大量日志。我想知道是否可以通过气流内置配置根据气流日志的年龄删除气流日志。 虽然我确实遇到了需要清理的建筑物...
我的用例很简单:我有一些进程与数据库中的某些表进行交互。我想自动创建表,所以我添加了一个create_table_if_not_exists_task。我只想...
我正在尝试从这个问题实现类似的解决方案:基于表的依赖关系动态创建dag 然而,我遇到了一些我似乎无法解决的问题。这是我...