具有多个工作队列定义的气流舵图

Question

我正在使用CeleryExecutor运行Airflow，并且将它们打包并与头盔图表一起部署。我有一个工作人员，可以通过指定yaml文件中的副本数来按比例放大/缩小。该工作程序以StatefulSet身份运行，默认情况下使用airflow队列。是否可以为其他工作人员创建另一个StatefulSet图表并指定队列名称？这样，对于DAG定义文件，我也可以指定要使用的队列。

Answer 1

在您的用例中，最好使用Kubernetes Executor而不是在StatefulSets之间分配工作程序管理逻辑。

kubernetes执行器在Apache Airflow 1.10.0中引入。的Kubernetes执行器将为每个任务实例创建一个新的pod。

您可以在this documentation中找到有关它的更多详细信息。

而且我也推荐this blog。

我希望它会有所帮助。