记忆在Spark Job中单调增加 我需要在火花内存问题方面提供一些帮助。我的Spark应用程序在单个JVM中运行，作为Kubernetes Pod。工作的性质是它是一份批处理的工作，运行4-5个小时，并且...

Question

我也尝试了堆垃圾场。堆转储指向不安全的内存分配器。我怀疑物理内存在JVM之外分配而没有清理，但是我不确定Spark操作/配置会导致此问题。

，如果它是在堆外分配的，为什么没有清理？

One instance of org.apache.spark.unsafe.memory.HeapMemoryAllocator loaded by jdk.internal.loader.ClassLoaders$AppClassLoader 1,61,06,14,312 (89.24%) bytes. The memory is accumulated in one instance of java.util.LinkedList, loaded by <system class loader>, which occupies 1,61,06,14,112 (89.24%) bytes.

，我也检查了Spark UI的“存储”选项卡，它没有显示任何rdd cached。

你看着火花调谐了吗？