医疗 MCQ 定制 LLM 中的 GCP 代理表现问题

Question

我们使用 Google Cloud Platform (GCP) 为医疗领域的多项选择题问答而构建的定制法学硕士面临着性能问题。这就是我们所做的：

• RAG 设置：我们使用约 13 本教科书作为参考材料，将它们分成块，并将它们存储在数据存储中。

• 查询：我们利用 Gemini Vertex AI Agent Builder 来查询数据存储并检索推理片段。

性能非常不一致。当我们检查代理生成的查询时，它通常无法正确解释问题。例如：

问题： 一名男子有 2 天耳鸣史。纯音测听显示感音神经性听力损失为 45 分贝。引起这种症状的药物的预期有益效果最有可能是由于以下哪项行为所致？

代理的查询变成这样：

{
   "query": "What would cause the symptoms in the given context?"
}

这种过于通用的查询会阻止代理检索有意义或特定的信息。

所以我们的问题是：

1。我们如何改进查询生成，以便代理更好地理解问题的上下文？

2。我们可以对 Gemini 代理或 RAG 设置进行具体调整来增强性能吗？

任何建议或见解将不胜感激！

我们的提示：

- Steps
    - 1. **Understand the Question**: Carefully read and comprehend the medical question presented.
    - 2. **Evaluate Options**: For each of the four options (A, B, C, D), assess its relevance and accuracy in relation to the question.
    - 3. **Search Knowledge Base**: Extract the information in the question and then Invoke ${TOOL:searcher} as the knowledge base to find the relevant information of the question and the options.
    - 4. **Answer and Reasoning**:
        - If the knowledge base exists the relevant information, use them to reasoning the question and choose the most suitable option based on the reasoning.
        - If the knowledge base doesn't exist the relevant information, answer the question with common sense.
- Output Format
    - A final conclusion indicating the chosen option as 'A', 'B', 'C', or 'D' with a concise reasoning section explaining the thought process.

Answer 1

使用 Vertex AI Agent Builder 构建 AI 代理 使用此分步指南，我能够创建一个代理来帮助客户回答与旅行相关的查询。以及附加数据存储的情况，其中如果位置不存在并且代理的响应是“很抱歉，我无法提供有关瓦坎达的信息。这是漫威宇宙中的一个虚构国家。”

虽然这实际上是正确的，但如果代理建议类似的地点，对用户来说会更有帮助，而不是简单地说“我无法提供信息”并结束对话。这种方法可能会导致用户实际上通过代理预订行程。

为了让代理推荐类似的地点，您可以通过数据存储向代理提供更多信息。如果代理无法根据其内置知识回答用户问题，它可以作为代理参考的附加知识库。

根据您的情况，您可以更改目标和说明以及与医疗 MCQ 相关的数据存储工具。