Ignite DataStreamer可能存在内存泄漏

Question

我在启用了持久性的Kubernetes集群中运行Ignite。每台机器的Java Heap为24GB，20GB专用于持久内存，内存限制为110GB。我的相关JVM选项是-XX:+AlwaysPreTouch -XX:+UseG1GC -XX:+ScavengeBeforeFullGC。在每个节点上运行DataStreamers几个小时后，我的集群上的节点达到了k8s内存限制，触发了OOM kill。在运行Java NMT之后，我惊讶地发现分配给内部存储器的大量空间。

Java Heap (reserved=25165824KB, committed=25165824KB)
(mmap: reserved=25165824KB, committed=25165824KB)  

Internal (reserved=42425986KB, committed=42425986KB)
(malloc=42425954KB #614365) 
(mmap: reserved=32KB, committed=32KB) 

Kubernetes指标证实了这一点：

“Ignite Cache”是内核页面缓存。最后一个面板“Heap + Durable + Buffer”是点燃指标HeapMemoryUsed + PhysicalMemorySize + CheckpointBufferSize的总和。

我知道这不是数据建立的结果，因为DataStreamers在他们读取的每个文件之后刷新（最多大约250MB），并且没有节点一次读取超过4个文件。在排除了我的其他问题之后，我尝试设置-XX:MaxDirectMemorySize=10G，并调用手动GC，但除了定期关闭所有pod并重新启动它们之外似乎没什么影响。

我不知道从哪里开始。 Ignite中有一种解决方法，它不会强迫我使用第三方数据库吗？

编辑：我的DataStorageConfiguration

    <property name="dataStorageConfiguration">
        <bean class="org.apache.ignite.configuration.DataStorageConfiguration">
            <property name="metricsEnabled" value="true"/>
            <property name="checkpointFrequency" value="300000"/>
            <property name="storagePath" value="/var/lib/ignite/data/db"/>
            <property name="walFlushFrequency" value="10000"/>
            <property name="walMode" value="LOG_ONLY"/>
            <property name="walPath" value="/var/lib/ignite/data/wal"/>
            <property name="walArchivePath" value="/var/lib/ignite/data/wal/archive"/>               
            <property name="walSegmentSize" value="2147483647"/>
            <property name="maxWalArchiveSize" value="4294967294"/>
            <property name="walCompactionEnabled" value="false"/>
            <property name="writeThrottlingEnabled" value="False"/>
            <property name="pageSize" value="4096"/>                
            <property name="defaultDataRegionConfiguration">
                <bean class="org.apache.ignite.configuration.DataRegionConfiguration">
                    <property name="persistenceEnabled" value="true"/>
                    <property name="checkpointPageBufferSize" value="2147483648"/>
                    <property name="name" value="Default_Region"/>
                    <property name="maxSize" value="21474836480"/>
                    <property name="metricsEnabled" value="true"/>
                </bean>
            </property>
        </bean>
    </property> 

更新：当我禁用持久性时，内部存储器被正确处理：

更新：问题是here用可重复的例子证明的。它可以在一台机器上运行，该机器至少有22GB内存用于docker和大约50GB的存储空间。有趣的是，当传入字节数组或字符串作为值时，泄漏才真正引人注目。

Answer 1

TLDR

设置walSegmentSize=64mb（或只删除设置并使用默认值）并设置-XX:MaxDirectMemorySize=<walSegmentSize * 4>。

Explanation

人们在计算Ignite的内存需求时经常忘记的一件事是直接内存缓冲区大小。

直接内存缓冲区是从Java进程中的单独空间分配的JVM管理缓冲区 - 它既不是Java堆，也不是Ignite数据区域或Ignite检查点缓冲区。

直接内存缓冲区是与Java中的非堆内存交互的常规方式。有很多东西使用它（从JVM的内部代码到应用程序），但在Ignite服务器中，直接内存池的主要用户是预写日志。

默认情况下，Ignite使用内存映射文件写入WAL，该文件通过直接内存缓冲区工作。该缓冲区的大小是WAL段的大小。在这里，我们得到了有趣的东西。

你的WAL段很大！ 2GB - 很多。默认值是64mb，我很少看到一个使用更多的环境。在某些特定工作负载和某些特定磁盘中，我们建议设置256mb。

因此，您在直接内存池中创建了2GB缓冲区。默认情况下，直接内存的最大大小等于-Xmx - 在您的情况下为24GB。我可以看到一个场景，当你的直接内存池膨胀到24GB（来自尚未清除的旧缓冲区），使你的应用程序的总大小至少为20 + 2 + 24 + 24 = 70GB！。

这解释了40GB的内部JVM内存（我认为这是数据区域+直接）。这也解释了为什么在持久性关闭时没有看到问题 - 在这种情况下你没有WAL。

What to do

1. 选择一个理智的walSegmentSize。我不知道2GB选择背后的原因，但如果你确定你有小WAL段的问题，我建议你去默认64mb或256mb。
2. 通过-XX:MaxDirectMemorySize=<size>为JVM的直接内存池设置限制。我发现将它设置为walSegmentSize * 4的值是安全的选择，即在256mb-1gb的范围内。

即使您在进行上述更改后发现内存消耗问题 - 仍然保留它们，因为它们是99％群集的最佳选择。

Answer 2

内存泄漏似乎是由我的缓存模型中的值对象上的@QueryTextField注释触发的，该注释支持Ignite中的Lucene查询。

最初：case class Value(@(QueryTextField@field) theta: String)

将此行更改为：case class Value(theta: String)似乎可以解决问题。我没有解释为什么这有效，但也许对Ignite代码库有很好理解的人可以解释原因。

Answer 3

我不知道你的情况是什么“内部”，但Ignite通常会将其所有数据存储在Off-Heap内存中。请注意，它也不是“直接”内存。

你可以configure the amount of memory dedicated to Off-Heap，以及configure Page Eviction。

Answer 4

启用和不启用持久性，我可以看到图表中的点火缓存指标存在巨大差距。这意味着，通过持久性，您实际上是将数据写入数据存储目录wal，walArchive。如果Kubernetes pod也在考虑内存限制中的目录，那么它可能很快就会耗尽内存。