Airflow - GCP Composer 中的 Bashoperator 任务

Question

我正在使用 bash 运算符运行 shell 脚本，该脚本实际上启动了 dataproc 流作业。这是永无止境的工作。问题是这个 bash 操作员任务在 15-16 小时后自动进入失败状态，但我检查了 dataproc 作业它仍在运行。为什么 bashoperator 任务变得失败..任何解决方案、建议都会有帮助

我尝试过的：从我的气流 dag 中，我调用像这样的 bashoperator 任务

sparkstreaming = BashOperator(
    task_id='sparkstreaming ',
    retries=0,
    bash_command= f'gsutil cp gs://bkt-gcp-spark/start-spark.sh . && bash start-spark.sh ',
    dag=dag
     )

我预计会发生： Airflow UI 应始终将此任务的状态显示为绿色。

实际结果是： 15-16 小时后，bash 操作员任务的状态自动变为红色（失败）。但是当我去检查 Spark 作业时它仍在运行。

Answer 1

Airflow 用于开发、调度和监控面向批量的工作流程。

如果您的作业有适当的日志记录，您可以设置基于日志的警报策略，以便在问题发生或作业失败时收到通知。

那么，您的用例是什么以及您想要实现什么目标？