llama-cpp-python Ubuntu 上的日志打印

Question

我使用 llama-cpp-python 在 Ubuntu 上本地运行 LLM。在生成响应时，它会打印其日志。

如何停止打印日志？

我找到了一种方法来停止 llama.cpp 的日志打印，但不适用于 llama-cpp-python。我只想打印生成的响应。

Answer 1

您可以通过设置停止打印日志

verbose=False

示例如下：

from langchain_community.llms import LlamaCpp

llm = LlamaCpp(
model_path="app/resources/llama-7b-chat-q4/llama-2-7b-chat.Q4_0.gguf",
temperature=0.01,
top_p=1,
verbose=False 
)