ValueError - 我无法在 google colab 中加载大型语言模型 falcon 7B

Question

我尝试在 google colab 上运行 falcon 7B，但出现以下错误：

ValueError：无法使用以下任何类加载模型 tiiuae/falcon-7b-instruct：（，）。

¿你能帮我解决这个问题吗？谢谢您的宝贵时间。

我正在使用从 The Falcon has landed in Hugging Face 生态系统中提取的代码：

from transformers import AutoTokenizer
import transformers
import torch

model = "tiiuae/falcon-7b-instruct"

tokenizer = AutoTokenizer.from_pretrained(model)

pipeline = transformers.pipeline(
"text-generation",
model=model,
tokenizer=tokenizer,
torch_dtype=torch.bfloat16,
trust_remote_code=True,
device_map="auto",
)

sequences = pipeline(
"Write a poem about Valencia.",
max_length=200,
do_sample=True,
top_k=10,
num_return_sequences=1,
eos_token_id=tokenizer.eos_token_id,
)

for seq in sequences:
    print(f"Result: {seq['generated_text']}")

我已经尝试过重新安装 Pytorch 库。

Answer 1

我在 Colab 上遇到了同样的问题，切换到 GPU 实例（V100）对我来说很有效。
这是一个有同样问题的讨论区： https://huggingface.co/tiiuae/falcon-40b/discussions/3