JSON 提取问题：GPT-3.5 Turbo 与 GPT-4 o-Mini 模块

Question

我面临着使用不同 AI 模型从文件中提取 JSON 数据的挑战，需要一些帮助。

问题描述： 当我向 ChatGPT 3.5 Turbo 提供文件内容时，我收到完整的 JSON 输出。但是，当通过外部 OpenAI API 使用 GPT-4 o-Mini 模块时（其输入令牌限制较高为 8192），我无法获得完整的 JSON 数据。

详情：

型号：GPT-3.5 Turbo 与 GPT-4 o-Mini 输入令牌限制：8192 (GPT-4 o-Mini) 与 GPT-3.5 Turbo 的较小限制 问题：尽管 GPT-4 o-Mini 的令牌限制较高，但我从中收到的 JSON 数据不完整，而 GPT-3.5 Turbo 则提供完整的输出。 采取的步骤：

向 GPT-3.5 Turbo 提供文件内容 – 收到完整的 JSON 输出。 将外部 OpenAI API 与 GPT-4 o-Mini 结合使用 – 导致 JSON 数据不完整。 问题： 有没有人遇到过类似的令牌限制问题影响数据提取的完整性？确保使用 GPT-4 o-Mini 等模型完整提取 JSON 的最佳实践有哪些，尤其是在处理较大输入时？

如有任何意见或建议，我们将不胜感激！

预先感谢您的帮助！

如有任何意见或建议，我们将不胜感激！

Answer 1

问题中不清楚您的回答是否不完整，因为：

1. N 个字符后被剪切，JSON 完全无效，或者
2. 它包含有效的 JSON，但缺少一些您期望的数据

...所以我可能没有抓住要点，但下面有一些通用的想法：

确保

max_tokens

参数对于响应而言没有设置得太低

您提到使用外部 API 访问

GPT-4o-mini

（我想这与您访问

ChatGPT-3.5-turbo

的方式不同）。

如果您使用某些库来执行查询，您可能需要确保它不会将

max-tokens

参数设置为对于您的用例来说太低的值。

某些库默认最多有 1000 个输出标记或类似的值，除非您明确将其设置为更高的数字。

通过删除 JSON 缩进在输入/输出限制内容纳更多数据

如果数据似乎稍微超出了输入/输出的限制，有时可以通过删除不必要的 JSON 缩进来缓解这种情况，从而减少令牌数量（有时减少 50% 或更多）。