为什么文档存在于 mongo 中却在 Spring AI Vector Store 中找不到？

Question

我正在使用 Spring AI 和我的 MQTT 服务器项目在此处提供开发一个简单的 RAG。我发誓我曾经让它工作过，但我没有承诺，现在它不再工作了。基本上我认为这个问题与矢量存储有关。我这么说是因为这里

public void updateSmartHomeVectors() throws JsonProcessingException {
        String smartHomeJson = haNetworkCache.getSmartHomeJson();
        List<Document> documents = tokenizeSmartHomeStatus(smartHomeJson);
        vectorStore.add(documents);
        logger.warn("Smart Home Vectors Updated");
}

当我在最后一行断点时，我看到了

但是当我尝试确认它们是使用

vectorStore.similaritySearch(SearchRequest.query("door").withTopK(5))

添加的时，我得到的结果为 0，即使我看到类似的东西

在蒙戈。当我尝试问它一个问题时，我得到了

抱歉，如果没有有关您的设置的其他上下文或特定信息，我无法确定哪些设备可用。请提供更多详细信息或检查您的智能>家庭应用程序或集线器以获取已连接设备的列表。

我错过了什么为什么看不到抹布信息

Answer 1

如果您的文档存在于 MongoDB (MO) 中，但在 Spring AI Vector Store 中找不到，则可能存在几个需要调查的潜在问题：

1. 文档索引 矢量表示：确保来自 MongoDB 的文档在 AI Vector Store 中正确索引。为了让人工智能搜索机制发挥作用，它们通常需要数据的向量嵌入（例如，使用 OpenAI 的嵌入或其他人工智能驱动的向量化等模型）。如果这些嵌入未创建或不准确，则将无法找到文档。 索引更新：确保当 MongoDB 中添加或更新文档时，AI Vector Store 中相应的向量也会更新。 MongoDB 和矢量存储之间的数据同步可能会出现延迟或失败。
2. 矢量存储配置 配置错误：Spring AI Vector Store 的配置设置可能不正确，导致搜索查询无法正确执行或向量没有首先存储。检查向量存储的 Spring 配置（数据源、索引配置等）。 索引策略：某些向量存储需要对特定字段建立索引。确保您要在 MongoDB 中搜索的字段在向量存储中正确映射和索引。
3. 搜索查询 查询不匹配：搜索查询可能未正确构造，或者可能未针对正确的向量空间。基于人工智能的矢量存储通常通过执行基于相似性的搜索来工作，因此请确保您的查询与矢量搜索方法保持一致。 错误的搜索参数：检查搜索参数，例如相似度阈值、距离度量或过滤选项，这可能会阻止返回相关文档。
4. 数据格式或类型 数据格式不一致：如果 MongoDB 和矢量存储之间的数据类型或格式不一致，这可能会阻止 AI 系统将 MongoDB 文档链接到其矢量化副本。 数据标准化：确保数据在两个系统中一致地进行预处理（例如标准化或标记化），以便向量存储中的嵌入反映文档的真实性质。
5. 同步或连接 MongoDB 和矢量存储同步问题：如果您的系统将 MongoDB 文档同步到矢量存储，则同步过程可能会出现问题。日志或错误报告应指示同步是否成功或是否丢失任何文档。 连接问题：如果 MongoDB 和向量存储之间的连接不稳定，可能会出现数据检索或索引问题。
6. AI模型问题 嵌入模型：用于生成嵌入的模型可能不会以有利于搜索的方式捕获内容。您可能需要调整模型或其用于生成向量的参数。 嵌入粒度：如果向量存储中使用的嵌入模型在不同的粒度上工作（例如，文档级别与句子级别），则搜索可能不会返回预期的文档。 建议步骤： 验证 MongoDB 中的文档是否已正确索引到向量存储中。 检查日志中是否有与索引或搜索执行相关的错误。 确保嵌入模型和搜索算法正确配置并按预期运行。 使用简单查询进行测试，以验证矢量存储中的基本搜索功能。