使用具有本地模型的管道

Question

我正在尝试离线使用简单的

pipeline

。我只被允许直接从网络下载文件。

我去了 https://huggingface.co/distilbert-base-uncased-finetuned-sst-2-english/tree/main 并将所有文件下载到本地文件夹中

C:\\Users\\me\\mymodel

但是，当我尝试加载模型时，出现了一个奇怪的错误

from transformers import pipeline

classifier = pipeline(task= 'sentiment-analysis', 
                      model= "C:\\Users\\me\\mymodel",
                      tokenizer = "C:\\Users\\me\\mymodel")

ValueError: unable to parse C:\Users\me\mymodel\modelcard.json as a URL or as a local path

这里有什么问题？

Answer 1

解决方案有点间接：

1. 将模型加载到可以访问互联网的计算机上
2. 使用

   save_pretrained()

保存模型
3. 将上面获得的文件夹传输到离线机器并在

   pipeline

   调用中指向其路径

该文件夹将包含所有预期的文件。

Answer 2

必须是以下两种情况之一：

• 您没有正确下载所有必需的文件
• 文件夹路径错误

仅供参考，我列出了目录中所需的内容：

config.json
pytorch_model.bin/ tf_model.h5
special_tokens_map.json
tokenizer.json
tokenizer_config.json
vocab.txt