重复的 Metrice 由 openlit 发送

Question

我正在使用 openlit 进行 genai 追踪

一旦调用该函数并获得响应，openlit 就会正确地将请求日志发送到 Kibana，但问题在于使用令牌/成本计算。 LLM 调用完成后，计算正在进行并将其发送到 kibana，但它不会停止，每分钟都会将相同的日志发送到 kibana，直到我停止服务器（flask）。

llm_response = ""
with start_trace(name="completions") as trace:
    meta_data = get_trace_meta_data()
    trace._span.set_attributes(meta_data)
    formatted_messages = self.format_messages(messages)
    llm_response = self.model.chat(
        messages=formatted_messages,
        user=meta_data.get("userId"),
    )
    llm_response = str(llm_response).replace("assistant:", "").strip()
return llm_response

可能是什么原因？

Answer 1

17N106， 是否对该函数进行了多次调用？您是否也偶然使用了 OpenLIT 的自动检测

(openlit.init())

关注：https://github.com/orgs/openlit/discussions/439#discussioncomment-10799336