比较 RAG 结果？

Question

我有两个不同的数据集。一个数据集旨在作为客户的文档，包含客户如何自行解决问题的描述。另一个数据集包含运营团队必须采取行动的解决方案。

比较这两个 RAG 的输出的最佳方法是什么，以便我可以直接通知客户或运营团队？

我尝试构建一个带有多个检索器的 RAG。结果是两者的结合，但结果只能是其中之一。

Answer 1

我真正喜欢比较从不同检索器检索到的文档的一种方法是使用“评估代理”。本质上，您设置一个 LLM 代理并指示它使用两个检索到的文档中的重要信息创建上下文。

您还可以创建一个代理来比较结果并生成特定的输出。例如，如果检索到的文档更多的是DIY解决方案，则代理可以输出“DIY”；否则，可以输出“Team”。您可以根据需要添加其他选项，并且根据此输出，您可以进一步调用不同的函数以在每种情况下执行必要的操作。

这是我在 [GitHub] 上创建的一个 CLI RAG 项目，它使用类似的方法。查看README中的架构图。有“grade_documents”和“grade_ Generation”节点，如果修改，可以用于您的案例。

如果你没有使用 LangGraph，我建议你检查一下。我发现为各种任务设置此类“代理”非常方便。