如何在 Vertex AI 中使用少量镜头示例运行批量预测？

Question

我从文档中了解到我的输入应具有以下格式：

{
  "request":{
    "contents": [
      {"role": "user", "parts": [
        {"text": "What is the relation between the following video and image samples?"}
        {"fileData": {"fileUri": "gs://cloud-samples-data/generative-ai/video/animals.mp4", "mimeType": "video/mp4"}},
        {"fileData": {"fileUri": "gs://cloud-samples-data/generative-ai/image/cricket.jpeg", "mimeType": "image/jpeg"}}]}]}}

由于我只处理文本，因此我忽略了

fileData

部分。但是，对于我的用例，我需要提供系统说明和一些镜头示例。 我已经检查了文档几个小时，但找不到任何有用的信息。

我尝试了以下数据结构，但它不起作用，因为

system

角色不可用。

{
  "request":{
    "contents": [
      {"role": "system", "parts": [{"text": "System prompt"}]},
      {"role": "user", "parts": [{"text": "Example input"}]},
      {"role": "assistant", "parts": [{"text": "Example output"}]},
      {"role": "user", "parts": [{"text": "The actual query"}]},
    ]}}

我尝试的下一步是将系统提示符添加到第一个示例中，但查看输出是否看起来我的系统提示符被忽略了。

{
  "request":{
    "contents": [
      {"role": "user", "parts": [
        {"text": "System prompt"},
        {"text": "Example input"}]},
      {"role": "assistant", "parts": [{"text": "Example output"}]},
      {"role": "user", "parts": [{"text": "The actual query"}]},
    ]}}

我不是 100% 确定上述方法是错误的，但我不想猜测，并且对如何进行有一些明确的指导。 所以我的问题是，有谁知道在 Vertex AI 中使用少量镜头示例运行批量预测的正确方法。 仅供参考，我用于推理的模型是

gemini-1.5-flash-002

。

Answer 1

在顶点 AI 中使用少量样本运行批量预测。指定您的 BigQuery 输入表、模型和输出位置。批量预测作业和您的表必须位于同一区域。

这里是一个输入数据（JSON）的示例：

{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "text": "Give me a recipe for banana bread."
        }
      ]
    }
  ],
  "system_instruction": {
    "parts": [
      {
        "text": "You are a chef."
      }
    ]
  }
}

我们没有角色：“system”，而是有一个“system_instruction”变量，我们可以在其中放置我们想要的系统提示符。

此外，这里还有一些使用批量预测和系统指令的示例。