从 Hugging Face Hub 安装 Meta-Llama-3-70B 模型时出错

Question

我正在尝试使用 Python 中的 Transformers 库从 Hugging Face Hub 加载

Meta-Llama-3-70B

模型，但遇到以下错误：

OSError: We couldn't connect to 'https://huggingface.co' to load this file, couldn't find it in the cached files and it looks like meta-llama/Meta-Llama-3-70B is not the path to a directory containing a file named config.json.  Checkout your internet connection or see how to run the library in offline mode at 'https://huggingface.co/docs/transformers/installation#offline-mode'.

这是我正在使用的代码：

import torch
import transformers

model_id = "meta-llama/Meta-Llama-3-70B"
pipeline = transformers.pipeline(
    "text-generation", model=model_id, model_kwargs={"torch_dtype": torch.bfloat16}, device_map="auto"
)
pipeline("Hey how are you doing today?")

我已授予对 Hugging Face 网站上的

Meta-Llama-3-70B

模型的访问权限，但我仍然遇到此错误。我检查了我的互联网连接，似乎工作正常。

有人可以帮助我了解可能导致此问题的原因以及如何解决它吗？我需要采取任何其他步骤才能成功加载和使用 Hugging Face Hub 中的

Meta-Llama-3-70B

模型吗？

Answer 1

如果您在获得门控模型的许可后仍面临同样的问题，请按照以下步骤操作：

首先，从这里

获取拥抱脸部访问令牌

然后运行此代码：

from huggingface_hub import login

login(token='xxxxxxxxxxxxxxxxxxxxxxx')

将这些 x 替换为您的访问令牌

然后运行模型

Answer 2

确保生成“写入”令牌而不是“细粒度”令牌。我犯了这个错误