如何将 4 位 LLAMA 权重与 LoRA 权重融合到一个 .pt 文件中？

Question

我遵循了本手册并得到了

llama-7b-hf-int4

（得到了

llama-7b-4bit.pt 

）和

samwit/alpaca7B-lora

（得到了

adapter_model.bin

）。现在我想将它们合并成一个 .pt 4 位模型。这种事怎么办？

为什么我需要这个：

1. 当前的 lama.cpp 仅支持传统的 4 位单文件模型。
2. 4 位微调器生成小羊驼微调迷你模型。
3. 只有 4 位羊驼调谐适用于我当前的设置；因此，我需要知道如何将一个应用/合并到另一个中。