如何停止在Python的OpenAI库中生成响应？

Question

我正在使用 Python 的 OpenAI 库中的 Completions。像这样的东西：

self.__response = self.client.chat.completions.create(
    model='gpt-4',
    messages=messages,
    stream=True
)

在此之后，我只是循环遍历块：

    for chunk in self.__response:
        text = chunk.choices[0].delta.content
        # Processing text here

如果我发现响应不符合我的期望，在循环内执行

break

是否足以防止服务器生成响应并浪费令牌？或者可能有正确的方法来实现这一目标？

Answer 1

您需要为 API 生成的所有令牌（单词或部分单词）付费，即使您不处理它们。因此，尽早打破循环会阻止您处理更多令牌，但不会阻止您为它们付费。