为什么火花频繁增大而拆除执行器？

Question

我有一个spark作业，最近这个作业执行得很慢，主要是执行器的频繁添加和删除。

我认为有两个问题需要优化。第一个是减少这个执行器的移除，以及减少移除后重新创建执行器的时间，但是我不知道该怎么办。

Answer 1

动态资源分配可以解释这一点。这似乎已启用。这取决于工作负载以及相关参数的设置方式。