如何解决从 Hugging Face 导入 LLAMA 2 时出现的错误？

Question

我已经使用 LLAMA 2 进行研究几个月了，我导入如下：

from transformers import AutoModelForCausalLM, AutoTokenizer
device = torch.device("cuda")
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-chat-hf",token = "token_key",torch_dtype="auto")
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-chat-hf",token = "token_key", torch_dtype="auto", load_in_4bit=True)

它一直有效。然而，今天它显示以下错误： 运行时错误：由于以下错误，无法导入transformers.models.llama.modeling_llama（查找其回溯）： 由于以下错误，无法导入 Transformers. Generation.utils（查找其回溯）： 无法从“huggingface_hub”导入名称“split_torch_state_dict_into_shards”（/opt/conda/lib/python3.10/site-packages/huggingface_hub/init.py）

重新创建了拥抱脸令牌，但不起作用。我正在使用 Google Colab 和 Kaggle Notebook。

Answer 1

您遇到的错误是由于

split_torch_state_dict_into_shards

功能在

huggingface-hub version < 0.23.0

中不可用。

从

0.23.0

版本开始包含此功能。

要解决此问题，请将

huggingface-hub

库更新到版本 0.23.0 或更高版本

这里有一个 git 链接：https://github.com/run-llama/llama_index/discussions/14605