Airflow是一个工作流管理平台，可以编程方式创作，安排和监控工作流，作为任务的有向非循环图（DAG）。
日志保存在本地和 AWS S3 上，但未加载到 Airflow UI 中。 （气流版本2.5.1）
我的 Apache Airflow 设置遇到问题，日志已成功保存在本地和 AWS S3 上。但是，当我尝试在 Airflow UI 中查看这些日志时，它们没有...
我创建了一个 dag 工厂。 我将 dag 切换到取消暂停状态，它们立即开始工作，尽管设置了计划间隔值。尝试通过指定 is_active=False 来覆盖 DagModel。
如何知道是什么导致 Apache Airflow 中的简单 DAG 失败？
我是 Apache Airflow 的新手。 我想创建一个简单的 DAG，其中包含一个在虚拟环境中启动 python 脚本的任务： 从气流导入 DAG 从日期时间导入日期时间，时间增量
我现在没有个人电脑，所以我一直在使用库电脑并使用 github 代码空间进行编码。 我在代码空间上安装了气流，但是当我尝试这样做时 气流独立 它创建管理员并通过...
KubernetesPodOperator xcom_push 键/值不可用于 xcom_pull 的后续任务
这是我正在尝试的 KubernetesPodOperator 的示例 -- set_tag = KubernetesPodOperator( 命名空间='默认', task_id='设置标签', name='设置标签', 图片='ub...
日期时间类型的对象在 Airflow DatabricksSqlOperator 中不可 JSON 序列化
我正在尝试使用 DatabricksSqlOperator 从 Databricks 增量表中获取 Airflow 中的一些数据： 选择 = DatabricksSqlOperator( databricks_conn_id = databricks_id， http_path=http...
气流 DAG 出现错误，>> 不支持操作数类型：“列表”和“列表”。任务的顺序和并行执行
我是 Apache Airflow 和 DAG 的新手。 DAG 中共有 6 个任务（task1、task2、task3、task4、task5、task6）。但在运行 DAG 时，我们收到以下错误。 不支持 DAG
Airflow Python 运算符类型错误：获得关键字参数“op_kwargs”的多个值
破碎的DAG：[] 回溯（最近一次调用最后一次）： 文件“”，第 198 行，位于 some_task_op() >> 传输 >> Short_Circuit() >...
我正在尝试在 dataproc 上运行批处理，并且将 DAG 运行时间戳作为 Spark 属性 Spark.dataproc.driverEnv.REPORTING_TIMESTAMP 中的环境变量提交。 # 火花属性...
YAML 在 Airflow/Shell 脚本中的 dbt 命令中作为变量传递
我在 YAML 验证方面遇到问题。字典值包含空格，这会导致问题。我在气流中的错误消息如下所示： 执行以下命令： dbt run --vars {"pos...
airflow DatabricksSubmitRunOperator 支持 python 轮吗
我知道我们可以通过 UI 提交 python 轮作业，但是是否可以使用气流 DatabricksSubmitRunOperator 来实现它？ 对于doc，好像只支持python_file，有workar吗...
yaml 作为 Airflow 中 dbt 命令中的变量传递
我在 YAML 验证方面遇到问题。字典值包含空格，这会导致问题。我在气流中的错误消息如下所示： 执行以下命令： dbt run --vars {"pos...
在 Airflow 中使用 DataprocCreateClusterOperator 创建具有公共 IP 地址的 Dataproc 集群
我正在尝试使用 DataprocCreateClusterOperator 在 Airflow DAG 内的 GCP 项目中创建 Dataproc 集群。我正在使用 ClusterGenerator 生成集群的配置。怎么...
当 Airflow Neptune 任务的状态为“LOAD_IN_QUEUE”时 Airflow 尝试重试
我在多租户数据管道平台工作。所以，我们现在大约有 5 个租户。我们使用 AWS MWAA （Apache Airflow）作为编排工具。每个租户都有独立的DAG并按顺序串行运行...
我正在尝试使用 make airflow-up 在本地运行气流 我有一个配置文件，其密码位于 .aws 中 我收到这个错误 警告[0000] 未设置“AWS_ACCESS_KEY_ID”变量。
从 Amazon Redshift 到 Sharepoint 列表的数据提取
我目前正在公司开展一个项目，将数据从 Amazon Redshift 提取到 Sharepoint 列表。一些背景信息：此数据流最初是使用 Azure Data Factor 自动化的...
用户 [admin] 尝试访问 Airflow API 时身份验证失败
我们已经安装了 Elastic 和 Airflow 附带的 OpenMetadata 实例。我们使用官方 helm 图表及其图像“docker.getcollate.io/openmetadata/ingestion”。我升级到最新的了...
无法让 Airflow 使用 postgresql ( rds ) 代替 sqlite
我在3个ec2节点上安装了airflow：网络服务器、调度程序和worker，我在所有3个节点上将相同的配置设置为/airflow/airflow.cfg，数据库的配置是下一个sql_alchemy_conn = postgresql+psycopg2://a...
Redshift 使用 psycopg2 进行查询时出现意外结果 [INSERT INTO <table> SELECT * FROM <VIEW> ] - 将 0 条记录写入目标表
从 Airflow DAG 任务调用的 Redshift [Insert into.. select..] 遇到一个奇怪的问题。我们有一个包含 5 个连续任务的 DAG 定义 任务 1：截断 temp_table SQL：`截断