如何在Langchain中配置HuggingFaceEndpoint

Question

我正在尝试使用这个模型

from langchain_huggingface import HuggingFaceEndpoint
repo_id="google/flan-t5-large"
huggingface_llm = HuggingFaceEndpoint(
huggingfacehub_api_token=HUGGINGFACEHUB_API_TOKEN,
repo_id=repo_id,
temperature=0,
max_new_tokens=200)

from langchain.prompts import PromptTemplate
def flan_process(tema, pregunta):
template = "Eres un experto asistente en {tema}. Responde a la siguiente pregunta: {pregunta}"
prompt=PromptTemplate(template=template,input_variables=["tema","pregunta"])

flan_chain = prompt | huggingface_llm

respuesta=flan_chain.invoke({"tema":tema, "pregunta":pregunta})

return respuesta

tema=input("Ingrese el tema: ")
pregunta=input("Ingrese la pregunta: ")

flan_reply=flan_process(tema, pregunta)
print(f"Respuesta Flan: {flan_reply}")

但我总是收到此错误模型不使用以下

model_kwargs

：['return_full_text'，'watermark'，'stop_sequences'，'stop']（注意：生成参数中的拼写错误也会显示在此列表）

请问有什么想法吗？

谢谢

Answer 1

我遇到了同样的问题，这似乎是

HuggingFaceEndpoint

类实现中的一个错误，使其无法与您（以及我）正在使用的

google/flan-t5-large

等某些模型一起使用。我在 GitHub 上的一个问题上读到了这篇文章。 问题链接

希望对您有帮助！

Answer 2

HuggingFaceEndpoint

曾经与

google/flan-t5-large

一起使用，但现在不再使用了。如果您仍在寻找免费模型来尝试，这就是我正在使用的

from langchain_huggingface import HuggingFaceEndpoint
from langchain.chains import LLMChain
repo_id = "mistralai/Mistral-7B-Instruct-v0.2"
# repo_id = "meta-llama/Llama-3.2-1B"
llm = HuggingFaceEndpoint(
    repo_id = repo_id,
    temperature = 0.5,
    huggingfacehub_api_token=HUGGINGFACEHUB_API_TOKEN,
    max_new_tokens = 250,
)

Mistral-7B 和 Llama3.2 都是相当不错的模型，并且可以通过 API 免费访问