Text Gen Web UI 中的模型加载器错误`

Question

我尝试使用 Text Gen Web UI 从 HuggingFace 加载多个模型，但无论模型或加载器，我都会为加载器得到相同的“ModuleNotFoundError”。

重要的是，我使用的是 Intel i7 而不是 GPU，但过去我已经能够使用不同的 UI 工具运行较小的模型。

我遵循的步骤：

1. 从 Git 克隆的 Text Gen 在 Anaconda.Navigator 中创建了一个新环境。
2. 使用 Visual Studio Code 打开文本生成 Web UI。
3. 我选择环境的Python作为Python解释器。
4. 选择激活相关conda环境并安装Text Generation Web UI的requirements.txt文件。
5. 使用文本生成 Web UI 附带的 one_click.py 文件启动应用程序。

在无法加载模型时，我尝试了很多方法：

1. 重新安装 pip 软件包。
2. 安装不同版本的 torch： pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu
3. 删除环境并重新开始。
4. 向 ChatGPT 和 CoPilot 询问一百万个问题。

同样的错误一遍又一遍地出现。这让我发疯！

示例（每个示例都已安装在正确的环境中）：

ModuleNotFoundError：无法导入“autogptq”。请安装它 手动按照 AutoGPTQ GitHub 存储库中的说明进行操作。

ModuleNotFoundError：没有名为“exllamav2”的模块

OSError：错误没有名为 pytorch_model.bin、model.safetensors 的文件， 在目录中找到 tf_model.h5、model.ckpt.index 或 flax_model.msgpack 模型\meta-llama_Llama-3.2-1B.

Answer 1

这里的问题是，由于某种原因，这从来没有真正解释过，即使你正确安装了 python，并且需要所有依赖项...... webui 仍然会使用它自己的嵌入式版本的 python 并忽略你所拥有的内容安装。所以你可以排除故障并安装，直到你脸色发青，这也改变不了任何事情。问我怎么知道以及为什么我现在对他们的设置感到恼火...最简单的解决方法就是自己进行设置。

下载Anaconda 打开“anaconda提示符”（不是cmd）

conda create --name textgen python=3.10
conda activate textgen
cd C:\path\to\text-generation-webui
pip install auto-gptq
pip install --upgrade -r requirements.txt

从那时起，当你想启动服务器时。启动 anaconda，移动到 webui 文件夹并使用

conda activate textgen
python server.py

希望我没有破坏任何这些命令，但这应该足以让你克服障碍。

请注意，这些步骤是在初始安装 webui 后完成的。