IVF_FLAT索引导致内存计算混乱

Question

我有大约 700 万个向量数据，暗淡为 768，使用 IVF_FLAT 索引，n_list 为 1024。加载集合时，我发现内存使用量首先增加到 40GB，然后减少到 20GB。根据计算，7000000 count * 8 byte * 768 dim = 40GB是原始数据使用量，1024 * 8 * 768 = 0.01GB和7000000 * 4 = 0.026GB是IVF索引使用量，那么20GB是如何计算的？

解释一下这个案例，我担心信息丢失

Answer 1

在 Milvus 中，每个维度都是一个 float32 值，因此每个维度占用 4 个字节的空间。对于 700 万个向量，每个向量有 768 个维度，总大小计算为 7M * 768 * 4Bytes = 20GB。

您的 Milvus 实例以独立模式运行，其中所有组件（包括查询节点、数据节点和索引节点）都在单个进程中运行。在此期间可能有未完成的索引或压缩任务。一旦这些任务完成，内存使用量就会减少到 20GB。