气流等待批量完成所有任务启动一套新的要求之前，

Question

我使用的气流1.9.0。我们认识到，调度得到有时卡住等待长时间运行的任务，开始一个新的组任务之前完成。当这种情况发生的所有气流任务倒闭，除了长期的工作。

root      5111     1  0 17:58 ?        00:00:02 /usr/bin/python2 /bin/airflow scheduler -n 5 --pid /run/airflow/scheduler.pid
root      5489  5119  0 17:58 ?        00:00:11 /usr/bin/python2 /usr/bin/airflow run ....
root      5522  5489  0 17:59 ?        00:00:01 /usr/bin/python2 /usr/bin/airflow run ....
root      5118  5111  0 17:58 ?        00:00:00 [airflow] <defunct>
root      5119  5111  0 17:58 ?        00:00:00 /usr/bin/python2 /bin/airflow scheduler -n 5 --pid /run/airflow/scheduler.pid
root      5120  5111  0 17:58 ?        00:00:00 [airflow] <defunct>
root      5121  5111  0 17:58 ?        00:00:00 [airflow] <defunct>
root      5122  5111  0 17:58 ?        00:00:00 [airflow] <defunct>
root      5123  5111  0 17:58 ?        00:00:00 [airflow] <defunct>
root      5124  5111  0 17:58 ?        00:00:00 [airflow] <defunct>
root      5125  5111  0 17:58 ?        00:00:00 [airflow] <defunct>
root      5126  5111  0 17:58 ?        00:00:00 [airflow] <defunct>

任何想法，我们做错了什么？

谢谢，

Answer 1

卸下-n 5的/bin/airflow scheduler -n 5。该-n是一个传统的气流特性。该LocalExecutor运行的过程中，因此这种行为。使用气流1.8.1+而不要使用“-n 5”，你会不会跟LocalExecutor遇到的问题。

有关它的更多信息：https://issues.apache.org/jira/browse/AIRFLOW-401?focusedCommentId=16094732&page=com.atlassian.jira.plugin.system.issuetabpanels%3Acomment-tabpanel#comment-16094732