spark.python.worker.memory 与spark.executor.memory 有何关系？

Question

此图非常清楚地显示了不同 YARN 和 Spark 内存相关设置之间的关系，除了

spark.python.worker.memory

之外。

spark.python.worker.memory

如何适应这个记忆模型？

Python 进程是由

spark.executor.memory

还是

yarn.nodemanager.resource.memory-mb

控制的？

更新

这个问题解释了该设置的作用，但没有回答有关内存治理的问题，或者它与其他内存设置的关系。

Answer 1

从 Apache-spark 邮件列表中找到此线程，看来spark.python.worker.memory 是spark.executor.memory 内存的子集。

来自线程：“spark.python.worker.memory 用于执行器中的 Python Worker”