AirflowException（“服务员错误：达到最大尝试次数”）

Question

我正在使用 AWS MWAA 和气流版本 apache-airflow 2.8.1。
我收到此错误：

 File "/usr/local/airflow/.local/lib/python3.11/site-packages/airflow/providers/amazon/aws/utils/waiter_with_logging.py", line 82, in wait raise AirflowException("Waiter error: max attempts reached") airflow.exceptions.AirflowException: Waiter error: max attempts reached

我该如何解决这个问题？

我正在从气流中调用 EMR 无服务器作业。该作业是一项长时间运行的作业，必须同步。

Answer 1

Airflow 每 30 秒轮询一次 emr 无服务器作业的状态，当达到其默认的最大尝试次数设置时，它会出错。您可以在 dag 中的 emr 操作符中放置以下配置来适应，比如说 10 小时的超时

waiter_max_attempts=1200
waiter_delay=30