在 GCP 上的 Cloud Composer 中自动触发 Airflow DAG，无需使用 Cloud Functions

Question

Stack Overflow 社区您好，

我目前正在开发一个项目，每当 .csv 文件上传到 Google Cloud Storage (GCS) 存储桶时，我需要在 Google Cloud Platform (GCP) 上的 Cloud Composer 中自动触发 Airflow DAG。但是，我的组织有一个限制，阻止为此目的使用 Cloud Functions。

我已经使用 Cloud Functions 成功实施了一个解决方案，但由于组织限制，我需要探索既高效又经济的替代方法。对于在不依赖云功能的情况下实现这一目标的任何指导或建议，我将不胜感激。

如果您遇到过类似的场景，或者对如何在不使用 Cloud Functions 的情况下设置此文件上传触发器有想法，您的见解将非常有价值。

提前感谢您的帮助！

如前所述，我知道如何使用 Cloud Functions 执行此操作，但这在我的组织中是禁止的，因此我需要找到替代方法。

Answer 1

我能想到的是使用基于时间的 DAG 进行轮询

在 Airflow 中设置一个定期运行的 DAG（例如每 5 分钟一次）。 在 DAG 中，使用 GoogleCloudStorageListOperator 列出 GCS 存储桶中的文件。 将当前文件列表与先前存储的列表进行比较。 如果出现新文件，则触发必要的下游 Airflow 任务或不同的 DAG。

希望这有帮助:)

参考：https://airflow.apache.org/docs/apache-airflow/1.10.12/_api/airflow/contrib/operators/gcs_list_operator/index.html