尝试从“transformers”导入“BioGptModel”时遇到导入错误

Question

我正在使用 Python 中的

Transformers

库。我的目标是使用

BioGptModel

模型。这是我写的代码：

from transformers import AutoTokenizer, BioGptModel
import torch

tokenizer = AutoTokenizer.from_pretrained("microsoft/biogpt")
model = BioGptModel.from_pretrained("microsoft/biogpt")

inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
outputs = model(**inputs)

last_hidden_states = outputs.last_hidden_state

不幸的是，当我运行代码时，出现以下错误：

导入错误：无法从“变压器”导入名称“BioGptModel””，尝试了所有解决方案升级变压器和相关库，但仍然出现相同的错误

我做错了什么？ “BioGptModel”不是“transformers”库的一部分，还是我的代码或环境存在其他问题？

Answer 1

BioGPT 是 Transformers 库的一部分，它被归类为 CausalLM，所以你想写：

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("microsoft/biogpt")
model = AutoModelForCausalLM.from_pretrained("microsoft/biogpt")

问题出在 import 语句上。您应该导入模型的通用类，然后将 from_pretrained 参数用于您想要的特定模型。 希望有帮助！