AWS MWAA -- dags 未出现在 Airflow UI 中

问题描述 投票:0回答:1

我已经创建了一个 AWS MWAA 环境,并正确地将其指向 S3 存储桶以及 S3 存储桶内的“dags”文件夹。

我创建了一个简单的 dag 文件(python)并将其添加到我的 /dags/ 目录(在我的 mwaa 配置中配置)。

但是,当我打开 Airflow UI 时,我在 UI 中看不到我的 dag。

我尝试排除故障的步骤:

1- 授予与我的 MWAA 环境关联的角色访问我的 S3 存储桶的权限 2-重新启动我的 MWAA 环境 3- 将我的 Airflow UI 访问权限设置为公共互联网而不是私人互联网。

授予角色对S3FullAccess的读写权限,并附加权限给角色。

S3 Bucket location and dag folder which includes dags

environment class

python amazon-web-services airflow cloud etl
1个回答
0
投票

默认情况下,扫描 S3 上的 dag 文件夹通常需要长达 5 分钟的时间。另请检查 DAG 的 S3 存储桶必须配置为“阻止所有公共访问”,并且“启用”存储桶版本控制。
最后,您应该检查cloudwatch中DAGProcessing的日志组以找出DAG文件是否出现问题

© www.soinside.com 2019 - 2024. All rights reserved.