Jupyter Notebook 中的 Phi-3 模型问题

Question

我在 Jupyter Notebook 中使用 Phi-3 模型时遇到问题。我收到与 Phi3Config 对象不具有属性 _attn_implementation 相关的错误。

以下是相关代码片段：

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("microsoft/Phi-3-mini-128k-instruct", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("microsoft/Phi-3-mini-128k-instruct", trust_remote_code=True)

这应该已经加载模型。 该代码成功加载了分词器和模型，但是当我尝试使用该模型时，遇到以下错误：

AttributeError: 'Phi3Config' object has no attribute '_attn_implementation'

我已经加载了必要的文件，包括 tokenizer_config.json、tokenizer.model、tokenizer.json、added_tokens.json 和special_tokens_map.json。

以下是完整的输出供参考： 菲尔斯

Answer 1

应用这些修改可能会让您的代码启动并运行。

from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("microsoft/Phi-3-mini-128k-instruct")
model = AutoModelForCausalLM.from_pretrained(
    "microsoft/Phi-3-mini-128k-instruct",
    torch_dtype="auto",
    trust_remote_code=True,
)