Azure OpenAI o1 GPT 模型支持像 GPT Vision 一样的图像分析吗？

Question

我正在探索 Azure OpenAI，并注意到文档中提到的一些有趣的推理功能。我想知道 o1 GPT 模型是否支持类似于 GPT Vision 的图像分析。

例如，我可以使用这样的东西来分析图像吗？

from openai import OpenAI
client = OpenAI()

response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "What's in this image?"},
                {
                    "type": "image_url",
                    "image_url": {
                        "url": "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg",
                    },
                },
            ],
        }
    ],
    max_tokens=300,
)

print(response.choices[0])

Azure OpenAI o1模型目前有这个能力吗？

Answer 1

您的问题分为两部分。

1. 您提供的链接更多关于[Azure OpenAI 推理模型]，尤其是“Azure OpenAI o1 和 o1-mini 模型”。这两个模型目前仍处于预览阶段，在填写请求访问表单之前您将无法使用它。 https://aka.ms/oai/modelaccess

2. 您的代码和问题似乎与使用具有视觉支持的 GPT 模型更相关，以便您可以附加图像并询问有关图像的问题。为此，您可以在 Azure OpenAI 服务中使用 gpt-4o 模型（或任何具有视觉支持的模型），GPT-4o 目前是公开的（不需要额外的申请表）。