airflow 相关问题

Airflow是一个工作流管理平台,可以编程方式创作,安排和监控工作流,作为任务的有向非循环图(DAG)。


AirFlow-进入DAG运行的开始时间

有可能在气流中获得DAG的实际开始时间吗?到开始时间,我的意思是确切的时间是DAG的第一个任务开始运行。 我知道我可以使用宏来获取执行日期。如果t ...

回答 4 投票 0



如何在气流的码头组合设置中设置PGBOUNCER

sqlalchemy.exc.OperationalError: (psycopg2.OperationalError) connection to server at "SERVER" (IP), port XXXXX failed: FATAL: sorry, too many clients already

回答 1 投票 0

回答 3 投票 0

回答 5 投票 0


AIRFLOWXCOM返回列表格式的字符串,而不仅仅是字符串值?

我有一个返回字符串值的气流运算符,任务命名为“ task1”。因此,执行后,我进入XCOM并检查return_value及其仅一个字符串(下面的屏幕截图)。

回答 1 投票 0

modulenotfounderror:无模块名为“ airflow.providers.oracle”在气流dockercompose

IAM使用Docker组合来运行气流,使用https://airflow.apache.org/docs/apache-airflow/2.10.5/docker-compose.yaml的yaml文件。 当我从airflow.providers.oracle.h ...

回答 1 投票 0

AirFlowDAG-使用SimpleHttPoperator访问上下文启用XCOMpull

下面的DAG旨在协调对第三方API提出的许多请求(通过Google Cloud函数),将CSV存储在存储中,并最终访问所有CSV,将所有CSV合并在一起,转换和存储在大查询中。

回答 1 投票 0


可以重复使用气流任务依赖性?

我有一系列的气流DAG,可以重复使用一些任务依赖性。 例如 DAG 1: T1 >> T2 DAG 2: T1 >> T2 >> T3 DAG 3: T1 >> T2 >> T3 >> [T4,T5,...

回答 1 投票 0


GoogleCloud Composer-缺少“触发dag w/ config”选项?

执行DAG时,我一直在Cloud Composer气流中查看到“触发dag w/ config”选项的任何地方,但似乎在任何地方都不可用。 condon任何人可以指出我在此选项的位置或如何激活该选项的正确方向?

回答 1 投票 0

创建Dockerfile用于使用气流和火花,PIP回溯运行时问题出现了

FROM apache/airflow:2.7.0-python3.9 ENV AIRFLOW_HOME=/opt/airflow USER root # Update the package list, install required packages, and clean up RUN apt-get update && \ apt-get install -y gcc python3-dev openjdk-11-jdk wget && \ apt-get clean # Set the JAVA_HOME environment variable ENV JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64 COPY requirements.txt . USER airflow RUN pip install -U pip RUN pip install --no-cache-dir -r requirements.txt

回答 1 投票 0

触发基于上游DAG完成(未定义)

我正在尝试查看是否可以触发DAG(例如B1)进行(每天),如果上游DAG(例如A1)完整的运行。我已经意识到

回答 0 投票 0



选择哪个?也许还有其他更好的选择?

在您的用例上 - 触发工作流程为VM供电,运行过程并关闭它们,任务范围从几分钟到数小时不等 - 时间似乎更合适。暂时性是为长期运行,有弹性,状态工作流程而建造的,在使用可以动态和动态电源的VM时,它将提供更好的可靠性和容错性。

回答 0 投票 0

最新问题
© www.soinside.com 2019 - 2025. All rights reserved.