用于微调的数据集格式/提示模板 Qwen 2.5-Coder Instruct

Question

我看到codellama 7B Instruct 有以下提示模板：

<s>[INST] <<SYS>>\n{context}\n<</SYS>>\n\n{question} [/INST] {answer} </s>

但是我找不到 Qwen 2.5-Coder 7B Instruct 应该使用什么提示模板。我对此真的很困惑。我打算将上面的 Qwen 提示模板更改为以下模板：

<|im_start|>[INST] <<SYS>>\n{context}\n<</SYS>>\n\n{question} [/INST] {answer} <|im_end|>

但我不确定上述模板对于 Qwen 是否正确以及

<<SYS>>, [INST] and [/INST]

代币是否正确。

谢谢你

Answer 1

<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n<|im_start|>user\nWhat is large language model.<|im_end|>\n<|im_start|>assistant\n

我想这就是你正在寻找的。

<<SYS>>, [INST]

和

[/INST]

标记在其标记生成器中不存在。 1